存储 频道

一夜暴富很难实现,还是多拉几个单子比较实在

前段时间

2019年胡润百富榜发布

我一如既往地没有上榜

对着名单酸了几分钟

就默默滚去搬砖

一夜暴富可能很难实现了

还是多拉几个单子比较实在

这两天刷朋友圈,我发现以前合作过的客户张总监不太开心,似乎工作上遇到了什么困难,我先跟他聊聊,没准能拿下一单。

“张总,最近过得咋样?这两年高性能计算大火,您这位算法大咖的身价都涨几倍了吧?”

我:“张总,别着急,可能是基础架构出了问题,待我们详细了解下您的架构分析系统使用现状,再看看有什么解决办法。”

近年来,随着高性能计算(HPC)成为主流,越来越多的研究人员和工程师能够以前所未有的速度实现创新,传感器、卫星、高性能计算机模拟、高吞吐量设备和医学成像等产生的大量信息,正在将数据存储库推向不可思议的量级,同时,围绕性能和容量的数据要求也在迅速增加

由于存储输入/输出(I/O)功能通常落后于数据处理能力因此存储组件可能成为HPC的主要瓶颈。另外,管理和监控这些复杂的存储系统也会增加存储管理员和研究人员的负担。

理想情况下,HPC存储系统应具备大容量、高度可扩展、高速的性能,且不会对内部IT专业知识或数据中心预算造成压力。但是,提升支持HPC存储系统的吞吐量和可扩展性可能需要大量的规划和配置,此外,与多家供应商合作以获取部署和支持HPC存储系统既困难又耗时

戴尔易安信提供的适用于HPC的存储就绪解决方案,不仅能根据用户特定需求灵活定制,而且经过预配置、测试和验证,可让用户以更低的风险在更短的时间内轻松部署大容量存储系统,同时为更高价值的活动保留资源和预算。

此外,随着计算需求增长,用户还可以轻松快速地扩展存储容量。另有随附的戴尔易安信Pro-Support服务,可通过单一支持源帮助用户预防和解决潜在的软硬件问题。

1

适用于HPC NFS存储的

Dell EMC Ready解决方案

基于NFS协议的存储解决方案广泛适用于HPC集群,因为NFS简单且经过时间考验,几乎是每个Linux发行版中的标准软件包。

对于I/O需求较低的应用程序集群,NFS存储可靠、易于管理且在某些边界内具有出色性能;而在更高I/O要求的群集中,NFS是用于主目录、应用程序存储,以及辅助存储库(用于应用程序数据长期存储)的良好选择。

适用于HPC NFS存储的Dell EMC Ready解决方案

Server 

2x PowerEdge R740 Servers

Processor

Dual Intel® Xeon® Gold  6136, 3 0GHz, 12 cores per processor

Network connectivity

Choice of:

•Dell EMC H‑Series based  on the Intel Omni‑Path Architecture

•Mellanox® InfiniBand® EDR

Memory

12x 16GiB 2666 MT/s RDIMM  per server

Local disks and RAID  controller

PowerEdge RAID (PERC)  H730P with 5x 300GB 15K SAS

hard drives

External storage  controller

2x12Gbps SAS HBAs per  server

Storage system

1x PowerVault ME4084

840TB of raw storage  capacity 84x 10TB 7..2K NL SAS hard disk drives

Systems management

Integrated Dell Remote  Access Controller 9 (iDRAC9) Enterprise

OpenManage Server  Administrator

Operating system

Red Hat® Enterprise Linux  (RHEL 7 5) x86_64

Cluster suite

Red Hat Cluster Suite from  RHEL 7 5

File system

Red Hat Scalable File  System (XFS) v4 5 0‑15

适用于HPC NFS存储的Dell EMC Ready解决方案示意图

解决方案优势:

01

  低成本          

戴尔易安信服务器、存储和网络采用成本优化的行业标准,降低了存储和处理大型HPC数据集的成本;

该解决方案经过戴尔易安信的预配置、调优和测试,可缩短用户的安装时间,降低了规划和部署HPC存储的成本;

此外,几乎所有Linux®发行版都提供经济高效的网络文件系统(NFS)存储,它易于配置,部署和维护可降低运营成本

02

  高性能

针对HPC NFS存储的Dell EMC Ready解决方案对吞吐量性能进行了调整,可随机写入性能高达6.5KIOPS,随机读取性能高达18.7KIOPS

03

  可扩展

通过在受支持的单个命名空间中轻松扩展多达64个节点480TB原始容量的能力,可以更轻松地满足未来需求,从而以更快的吞吐量运行更大、更复杂的应用程序。

2

适用于HPC Lustre存储的

Dell EMC Ready解决方案

今天的HPC工作负载需要无限扩展的存储基础架构,并提供极其高效的I/O级别。因此Lustre解决方案部署起来既复杂又耗时

而适用于HPC Lustre存储的Dell EMCReady解决方案,允许用户在不损失性能或容量的情况下高效扩展以适应工作负载需求,不仅符合成本优化的行业标准,而且简化了安装、配置和管理的流程。

适用于HPC  Lustre存储的Dell EMC Ready解决方案

Servers

Management server  (IML): 1x PowerEdge R640 Server Lustre Metadata servers (MDS): 2x PowerEdge
 R740 Servers
 Lustre OSS: 2x PowerEdge R740 Servers

Processor

IML: 2x Intel Xeon  Gold 5118 @ 2 3GHz, 12 cores per processor
 MDS and OSS: 2x Intel Xeon Gold 6136 @ 3 0GHz, 12 cores per processors

Network connectivity

Choice of:
 •  Dell EMC H‑Series  based on the Intel Omni‑Path Architecture
 •  Mellanox InfiniBand EDR
 •  10/40GbE

Memory

IML: 12x 8GiB 2666  MT/s RDIMMs per server
 MDS and OSS: 24x 16GiB 2666 MT/s RDIMMs per server

Local disks and RAID controller

IML: PERC H740P  Integrated RAID, 8GB NV cache,
 6x 300GB 15K SAS hard drives configured in RAID10 for OS and IML database  storage
 MDS and OSS: PERC H330+ Integrated RAID, 2x 300GB 15K SAS hard drives  configured in RAID1 for OS

Software

Lustre Community  Edition v2 10 4 Whamcloud

Systems management

iDRAC9 Enterprise

Operating system

CentOS™ 7 5 x86_64  RHEL 7 5 x86_64

OST storage array

4x PowerVault  ME4084 with 336x 3 5" 8TB 7 2K RPM NL SAS

MDT storage array

1x PowerVault  ME4024 with 24 ‑ 960GB SAS SSDs

External storage controllers

OST: 4x SAS 12Gbps  Dell HBA MDS: 2x SAS 12Gbps Dell HBA

适用于HPC Lustre存储的Dell EMC Ready解决方案示意图

解决方案优势:

01

  高性能

适用于HPC Lustre Storage的戴尔易安信解决方案,能够以超过1PB的持续容量更快地运行更大更复杂的应用程序。客户还可以选择Mellanox InfiniBand EDR或Intel Omni-Path,用于高速、低延迟存储事务。

Mellanox InfiniBand EDR:峰值写入性能为15GB/s;对于顺序操作,峰值读取性能为18.5GB/s。峰值随机写入性能为17.5K IOPS,在256个线程上达到45K IOPS,用于随机读取。

02

  可大规模扩展

适用于HPC Lustre Storage的戴尔易安信解决方案为每个对象存储服务器(OSS)提供960TB的原始存储,可高效扩展来适应工作负载要求,而且不会降低性能。

用户可以从小规模起步,扩展到数万甚至更多容量,扩展将同时增加总网络吞吐量存储容量——这允许增加可用存储量,同时保持一致的大网络吞吐量。

03

  高性价比

简化的扩展解决方案,使用户在一定预算内获得更高的系统性能,并保护IT投资。戴尔易安信已经创建了经过测试与验证的解决方案使用户可以专注于业务或研究目标,从而获得出色的投资回报。

跟张总监聊完以后,我第二天便来到了他们公司。搜集现状后发现服务器品牌繁多各品牌跨CPU代数现状较为普遍而且大量数据都放在大容量磁盘服务器上并没有统一的存储,一发生掉盘,就要花费大量时间用于数据重组,严重影响性能,导致业务部门经常抱怨。

经过分析,我给张总监推荐了适用于HPC Lustre存储的Dell EMC Ready解决方案,用于改造基础架构,以大限度地保护该公司现有投资。

一 个 月 后

“小郑啊,真的太感谢你了。用了你们戴尔易安信的解决方案以后项目进展得非常顺利,也证明我的算法是没有问题的。哈哈,这下我可在公司扬眉吐气了!”张总监电话里掩不住的兴奋。


“张总,别客气,像您这种大咖真的不应该浪费时间在基础架构上,以后这种活都交给我们!”

了解更多数字化转型方案查看此链接:

https://www.dellemc-solution.com/home/index.html


0
相关文章