存储 频道

Wallstor网腾存储在高性能计算中的应用

    1.高性能计算的现状
     随着信息化社会的飞速发展,人类对信息处理能力的要求越来越高,不仅石油勘探、气象预报、生物学研究、航天国防、工业设计、军事模拟等传统大规模密集型计算领域需求高性能计算(High Performance Computing,HPC),而且金融证券、政府信息化、电信行业、教育、企业、网络游戏等更新兴的领域对HPC的需求也迅猛增长。

     HPC大多采用大规模的并行计算,高性能计算的架构也主要以集群为主,整个高性能计算系统在硬件基础架构上包含计算资源、网络资源和存储资源三大部分。近几年来,由于CPU能力的迅速提高,标准化硬件成本的迅速降低,使 HPC进入更广阔的工业和商业应用市场。与此同时,强大的HPC系统需要技术先进、性能卓越的存储系统作支撑。

    2.不同存储架构的介绍
    存储架构最根本的区别在于:存储格式以及存储与应用之间的控制流和数据流方式。存储方式式决定了访问方式,以及访问共享数据时的锁机制、同步和安全。控制流和数据流方式则决定了为带宽准备的并发机制。这两个存储特性如何实现最终决定了存储系统的性能和扩展性。根据HPC应用规模的大小不同可以有不同的存储架构与之相适应,一般来说可以分为以下三类:

    直连存储(DAS)
    直连存储(DAS)是早期的传统存储架构。DAS是一种将存储介质直接安装在服务器上或者安装在服务器外的存储方式,它使用块数据存储,并利用分离的文件系统或数据库管理。当HPC系统规模(客户端数量)较小时性能较好,但规模增加时瓶颈就慢慢显现出来了。由于客户端每台PC或者服务器单独拥有自己的存储磁盘,对于整个环境下的存储系统管理,没有集中管理的解决方案,使得工作变得繁琐而重复。另外HPC的数据量往往很大,所以需要的存储空间也很大,可能经常需要进行容量扩展。如果采用DAS的存储架构的话,必然要停机增加硬盘后重新做RAID,这必然会影响到存储网络部分从而影响到HPC的持续运行。而且,DAS在不同客户端的数据共享比较困难,需要通过经常性的数据拷贝来完成,这样势必会影响系统性能。

    网络附加存储(NAS)和存储区域网络(SAN)
     随着存储技术的发展,两种新型的适合HPC的主流存储架构也应运而生了。它们就是网络附加存储(Network Attached Storage,NAS)和存储区域网络(Storage Area Network,SAN)。

     NAS是一种将分布、独立的数据整合为大型、集中化管理的数据中心,以便于不同主机和应用服务器进行访问的技术。它以数据为中心,将存储设备与服务器彻底分离,集中管理数据,从而释放带宽、提高性能、降低总拥有成本、保护投资。NAS 通过文件访问协议NFS、CIFS、FTP和HTTP等,能高效地满足来自不同环境的用户请求,从而很好地解决了DAS面临的数据共享问题。同时上层支持设置文件的安全访问权限,并在底层进行性能优化(比如预缓存数据)。

     SAN是一种高速网络或子网络,提供在计算机与存储系统之间的数据传输。SAN以数据存储为中心,采用可伸缩的网络拓扑结构,通过具有较高传输速率的高以太网或者光纤通道连接,提供SAN内部任意节点之间的多路可选择的数据交换,并且将数据存储管理集中在相对独立的存储区域网内。SAN可以实现在多种操作系统下,最大限度的数据共享和数据优化管理,以及系统的无缝扩充。目前比较通用的是FCSAN和IPSAN两种形式。

     无论是NAS还是SAN都可以实现存储的集中管理,使得管理工作变得简单而高效,并且能够充分利用那些处于空闲状态的空间以节约成本。最重要的一点是,它们都不需要关机即可对存储容量进行扩充,可以保证HPC稳定高效的运行。

    集群存储
     现在HPC的发展方向是计算节点部分集群化,以满足现在信息化飞速发展的社会的需要。在这种模式下当一个计算任务被加载到HPC系统时,各服务器计算节点首先从存储系统中获取数据,然后进行计算处理,最后将计算结果写入存储系统。在此过程中,计算任务的开始和结束阶段数据读写的I/O负载非常大,而在计算过程中几乎没有任何负载。虽然存储系统容量提升和单位成本下降都很快,但传统存储技术架构对带宽和I/O能力的提高却非常困难且成本高昂。这造成了当原始数据量较大时,I/O读写所占的整体时间就相当可观,成为HPC系统的性能瓶颈。

     除了对存储系统I/O能力的苛刻要求外,HPC对其管理、扩展、可靠和共享访问等各方面的指标要求也极高。由于管理维护的复杂性,传统存储系统的管理成本加起来往往数倍于其采购成本。管理任务包括安装和配置新硬件,为用户或应用分配容量,在各子系统间迁移数据以均衡负载和容量,备份和恢复数据,故障排除和系统重建,解决用户对性能和容量等各方面提出的新需求等。

     总结而言,HPC对存储架构提出了极高的要求:带宽性能达到几个甚至几十个GB/s,容量能扩展至PB级;完全透明的访问和数据共享;与生俱来的高可靠性和高可用性;集中式的智能化管理,不因容量和设备数增加而显著增加管理成本;无缝整合其他存储系统,轻松获取与交换数据;集成的数据服务,包括备份、远程复制和生命周期管理;可按需独立扩展容量和性能,保护投资。

     正因为并行集群系统渐渐成为HPC的主流,为了满足其需求,新型的HPC存储架构也将以集群存储为主。所谓集群存储是将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池,应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘,可以充分发挥存储设备的性能和磁盘利用率。数据将会按照一定的规则从多台存储设备上存储和读取,以获得更高的并发访问性能。

    3.Wallstor网腾存储产品在HPC中的应用
    南京沃仕特电子存储设备有限公司(以下简称:沃仕特)的网腾存储系统主要包括Wallstor网腾系列的NAS/IPSAN网络存储系统以及BIZScale存储集群软件,这两类产品可以满足不同规模HPC应用的存储架构的需求。

    满足NAS和SAN架构的网腾存储系统
    当HPC系统的规模稍大,客户端渐渐增多,DAS架构往往不能满足HPC的需求,这时主流的存储架构可以选择NAS或者SAN。网腾存储系统正是适合这两种结构的一款存储结合。

     网腾存储系统是由沃仕特自主研发的一款多协议混合的网络存储系统。它采用先进的嵌入式技术,嵌入针对网络存储而优化的系统,并结合RAID技术,系统性能和I/O效率有显著提高,支持跨平台网络文件共享(支持CIFS[SMB]、NFS、AFP、FTP、rsync、HTTP等文件共享协议)、同时支持SAN级别(iSCSI和光纤)数据共享服务,可以为HPC提供文件级共享的NAS服务和块级别共享的SAN服务。EasyNAS同时提供了前端管理程序和基于Web的管理界面:Wallstor网腾 Web Manager,使得用户对存储系统的管理操作变得简单方便。

    满足集群存储的BIZScale集群存储软件
    现在为了适应HPC计算节点将成集群系统出现的形势,沃仕特也在进行存储集群软件BIZScale的研究和开发。BIZScale集群存储由若干节点构成,每个节点既带有处理能力,又带有存储空间;每增加一个节点,处理能力和存储空间都跟着增加,因此处理能力和空间都是线性增加的。当存储空间不够,但是存储的吞吐性能仍然能够满足使用时可以使用磁盘扩展节点,每个基础节点外接一个磁盘扩展柜,从而达到快速扩展的目的。当存储空间和磁盘性能都无法满足需求的时候,就可以通过增加基础节点的个数来满足HPC系统的需求。同时由于每个节点都带有处理能力,所以在个别节点发生意外的情况下,可由别的节点提供相应的服务,从而可以保证HPC持续稳定的运行。无论如何相信在不久的将来,利用沃仕特的BIZScale存储集群可以通过分布式或集群文件系统将几台到几百台服务器结构的存储节点管理起来,并通过千兆(万兆)以太网和聚合带宽技术向HPC客户端提供高带宽、高并发性、高可扩展性、高可靠的集群存储系统。

     总而言之,Wallstor网腾存储产品具有可扩展性好,数据安全性高,存储读取速度快,操作简单方便的优点,是满足HPC需求的性价比极高的一个存储系列产品。

    4.应用测试案例及报告
     下面是在南京工业大学进行的一系列HPC的测试,它的目的是测试在不同厂家的NAS服务器的支持下的HPC的性能,从而分辨出存储设备性能的优劣。

     测试环境是:4台Dell服务器组成集群用于计算(每台4个双核CPU,2G内存);NAS存储服务器用于数据存储;NAS服务器和Dell服务器都进行多网卡聚合并通过交换机连接。运行的计算软件是abaqus。网络拓扑结构如图1所示:

Wallstor网腾存储在高性能计算中的应用
 

最终的测试结果如下列图所示:

Wallstor网腾存储在高性能计算中的应用
 

说明:
A工况表示多个计算任务同时使用NAS设备存取文件
B工况表示单个计算任务同时使用NAS设备存取文件
C工况表示单个计算任务使用本地磁盘存取文件
表格记录的是计算任务耗时,单位:秒。计算耗时越短,存储设备性能越好

Wallstor网腾存储在高性能计算中的应用

Wallstor网腾存储在高性能计算中的应用
 

    从测试结果来看,南京沃仕特的NAS/IPSAN网络存储系统在高性能计算中性能要明显优于另两家的存储系统。
 

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。
0
相关文章