存储 频道

并行文件系统构筑高性能计算数据基石

    【IT168 专稿】[编者按]:文件系统是磁盘空间进行数据管理的基础。当我们把磁盘空间看成一间数据存储与管理的公寓的时候,那么我们可以把文件系统理解成为这间公寓的基础,文件系统提供了一个系统I/O与数据存取的从硬件到软件层面的通行界面,对磁盘系统的I/O性能有很大影响。

    长期以来,磁盘带宽的增长速度都远小于计算能力的增长速度,而双核、四核乃至多核服务器的普及与发展让这种不匹配的差距进一步拉大。包括RAID阵列等,我们目前有多种技术可提高I/O性能,并行文件系统也是其中之一。它可以把多个结点上的磁盘组织成为一个大的存储系统,提供更大的存储容量和聚集的I/O带宽,并随系统规模的扩大而扩展,在多种存储环境下发挥着重要的作用,尤其是集群结构的高性能计算领域。

高性能计算的存储基石

    随着网络的高速发展,如何管理高速网络上互联的计算机的集群系统,建立一种性能优越的并行文件系统是一件非常重要的事情,这样可以使整个集群系统可以具备高可用性、可扩展性和高可靠性,从而构建出上千节点的超大规模集群计算机,为整个网络提供性价比高的集群服务器和超强的网格节点。

    目前各个研究机构和商业团体对并行文件系统的研究比较看重,取得了不少的技术进步和 相关的商业产品,我们对整个分布式并行文件系统研究情况大致可以分为三类: 商业用途的并行文件系统;公开的分布式并行文件系统;供研究的并行文件系统。

 并行文件系统工作原理

    其中较为成熟的商用并行文件系统,像 IBM 的 GPFS,Intel 的 PFS 等在性能,可用性上均有良好表现,但都价格昂贵,且需要特殊的存储设备的支持,给普通用户构建集群服务器带来困难。对于公开源码的并行文 件系统,声誉最好的是 Clemson 大学和 NASA 实验室联合开发的 PVFS,它相对与传统的集中存储 NFS 具有良好的性能。由于它采用单一元数据服务器的集中管理方式和存储节点的静态配置,因而不具备容错性和动态可扩展性。

    另外,由 HP、Intel 赞助,Cluster File System 公司开发的面向对象存储的并行文件系统 Lustre 吸收了很多文件系统(Code, InterMezzo)的优点。它采用智能化的对象存储设备(Object Storage Device),在性能方面具有很大优势,在可用行和动态可扩展性上的表现仍然有待研究和完善。而 XFS是作为最早的 Serverlesss分布式文件系统,主要侧重于通过合作式缓存来提高读写性能,不具备系统的在线动态扩展功能,并没能真正实用起来。

    我们对这些系统分别做出分析,让我们可以更深入的了解并行文件系统的构成和功能。

0
相关文章