【IT168 评论】HPC(高性能计算High Performance Computing,也称超级计算)历来是石油、生物、气象、科研等计算密集型应用中的首要技术问题。
从根本上来说,HPC依赖于计算能力、带宽和存储三个方面。这三方面因素的相互依赖性能够决定HPC解决方案的计算和数据容量。为了能够良好扩展,HPC各应用程序在分组成计算集群的无数客户端机器之间分发它们的计算能力。HPC集群规模大小不一,规模大的有数十个或数以千计的客户端,I/O总需求可达每秒数十到数百GB;而规模小的是I/O性能要求极低的四节点集群。
随着计算集群和带宽的发展,应用程序生成和处理的数据量日益增多,HPC需要大量的高性能存储以充分发挥其潜能,并且集群中的每个主机都需要以统一的方式访问任何后端数据。
正是这种应用程序的要求,使得规模适当的计算集群(核的数量)、网络带宽/延时和存储之间的相互依赖性不断提高。尽管这会加大HPC系统的设计难度,不过同时也会增强灵活性,这样就能“调优”HPC系统以提升性能和/或降低成本。
集群的另一大特点就在于这样的灵活性,有了它,就能够将多个组件组合在一起,从而使整个系统更有效。存储也不例外,其中通过适当组合存储组件和解决方案,可以切实满足不同的应用程序和工作负载产生的不同需求。
在涵盖各行各业的HPC庞大用户群体当中,戴尔凭借能够提供用于计算的功能强大的可靠系统,以及坚实的软件堆栈而享誉盛名。作为高性能计算整体架构设计的关键一环,如何选择一款合适的存储系统也是最具挑战性的一项工作。戴尔HPC解决方案便可提供大量存储选项(可轻松与系统规模、工作负载和流要求匹配的合作伙伴解决方案),包括高度可靠、存档、快照、灾难恢复、备份和恢复解决方案。
打破存储瓶颈 灵活管理HPC海量数据
在高性能计算中,有些应用程序需要一个既能提供高性能、高容量、高效率又能很容易部署、整合及管理的文件系统解决方案,这时候非常好的选择就是Dell&Terascala HPC 存储解决方案(DT-HSS)。
Lustre的典型部署和配置既复杂又很耗时间。部署Lustre通过命令行界面来安装和管理,这可能阻碍不熟悉软件的系统管理员部署Lustre。另外为使Lustre安装达到最好的性能需要考虑众多的选项,该过程并不简单。Dell&Terascala HPC存储方案不仅避免了上述复杂性,而且在最大程度上减少了部署和配置时间,这样我们就可以尽快测试文件系统并为生产环境做好准备。
DT-HSS3解决方案提供由Lustre元数据服务器 (MDS)、Lustre 对象存储服务器(OSS)和关联存储组成的预先配置存储解决方案。应用软件映像已进行修改以便支持PowerEdge R720,后者是之前的自定义组装服务器(在配置中用作对象存储服务器和元数据服务器)的基于标准的替代品。此替代服务器(如图1所示)可大幅提升这些解决方案组件的性能和服务性,且降低该解决方案本身的总体复杂性。
DT-HSS3实现了基于并行文件系统的存储应用方案的所有优势,在成本上也更加划算,虽然DT-HSS基于Lustre,但使用、安装、配置及管理与Lustre相比都更加简单。DT-HSS存储方案可以较轻松地被整合为一个集群并提供良好的单用户和全系统性能;而且与安装、管理Lustre需要经验丰富的工程师不同,即使是没有太多经验的系统管理员也可以安装并管理DT-HSS。研究表明,Dell&Terascala HSS可以同时为N对N(N-to-N)及N对1(N-to-1)文件访问模型提供非常大的吞吐量和IOPS。
对象存储服务器对
戴尔在对象存储服务器(OSS)也进行了同样的硬件改进。上一代OSS使用自定义组装服务器构建而成,现在这种构建方式已经改变。PowerEdge R720服务器已成为此解决方案新的标准配置。在DT-HSS3中,对象存储服务器被放置在两节点高可用性(HA)集群中,用以提供对两个Dell PowerVault MD3200存储阵列的主动/主动访问。每个MD3200阵列装有整整12个2TB/3.5 英寸/7.2K近线SAS驱动器。每个MD3200阵列的容量可以通过增加多达7个MD1200来进行扩展。每个OSS对提供的原始存储容量范围在48TB到384TB之间。
对象存储服务器(OSS)是DT-HSS解决方案的构造块。利用每个PowerEdge R720中的两个6Gb SAS控制器,两个服务器分别冗余连接至两个MD3200存储阵列的其中一个。MD 3200存储阵列可以使用附带SAS设备的MD1200加以扩展,以提供更多的容量。
而在每个PowerVault MD3200或MD1200存储模块中,都容纳有12个7.2K/2TB近线SAS驱动器,因而可提供总量达24TB的原始存储容量。此存储可平分为每个存储模块中包含两个RAID 5(五个数据磁盘和一个校验磁盘)虚拟磁盘,以达到每个存储模块中包含两个对象存储目标(OST)的效果。每个OST可提供9TB的已格式化对象存储空间。在每个增长阶段,应为一个OSS对增加4个OST。通过40Gb QDR Infiniband连接,OST可以连接至LNET。
从装有Lustre客户端的任何计算节点看,整个命名空间可以像任何其他文件系统一样进行检查和管理,不同的是Lustre的管理已经增强。
构件化设计 提供高可扩展性
此外,Dell&Terascala HPC存储方案还有其独到之处,单一操作界面简化了对整个存储系统进行端到端的操作与监控,单个全局命名空间允许你管理从少量到数百TB的数据。Dell&Terascala HPC 存储方案是完全捆绑的并经过了预先配置及测试。现场安装、配置和客户培训将为部署时间最小化提供帮助。
Dell&Terascala HPC 存储方案提供的构件化(building block)设计使配置和扩展成为可能。每一个存储构件模块都可以提供高达192TB的裸容量,2.4GB/s的吞吐量。构件化方法意味着你可以轻松地设计出满足容量和性能要求的存储配置。
由于采用构件化设计,Dell&Terascala HPC 存储方案可以很容易地设计出满足容量和性能需求的系统。随着使用时间越来越久,用户对于容量或性能的需求可能会增加,通过扩展构件化模块能够很容易满足用户的需求。例如,用户刚开始使用48TB的裸容量,包括24块硬盘驱动器(使用2TB Nearline SAS驱动器),吞吐量接近2.4GB/s。
总的来说,Dell&Terascala HPC 存储提供了一个完整的可扩展、高性能的存储方案, 既可以轻松获取,部署及管理,又可以从Dell和Terascala得到全面的支持。戴尔HPC 存储方案还可以根据用户的需求非常容易地扩展容量并提高性能,无需增加管理费用。用户可以放心的将HPC应用交给戴尔PowerVault存储系列, 就像他们以往一直信赖戴尔PowerEdge服务器一样。作为一家解决方案提供商和最出类拔萃HPC技术的集成商,戴尔凭借自身深厚的知识和专业技术,能够帮助HPC用户构建、部署和支持高效、经济合理的HPC计算、联网和存储解决方案。
