存储 频道

并行文件系统构筑高性能计算数据基石

PVFS:虚拟并行文件系统
    PVFS用来为运行 Linux 操作系统的 PC 群集创建一个开放源码的并行文件系统。PVFS 已被广泛地用作临时存储的高性能的大型文件系统和并行 I/O 研究的基础架构。作为一个并行文件系统,PVFS将数据存储到多个群集节点的已有的文件系统中,而且多个客户端可以同时访问这些数据。

    PVFS 具有很多优点,它可以提供一个全局命名空间,可以将数据分配到多个磁盘上,并且允许使用不同的用户界面,还可以包含其它的 I/O 接口来支持大型文件。该并行文件系统最早是Clemson 大学的并行虚拟文件系统(PVFS)项目,由于该并行文件系统可开放源代码进行二次开发,因此在高性能计算系统的并行文件系统中占有独特的地位。

    为高速访问群集中的文件系统,PVFS 将文件数据进行条块化划分,分散存储到某些群集节点(称作 I/O 节点)的多个磁盘上。条块化数据的方法可在群集上提供相当大的存储容量,具体容量取决于群集中节点的数量。PVFS 所带来的存储容量可以为用户提供整个集群内的大型全局操作空间。

    与很多网络文件系统或并行文件系统一样,PVFS 是利用客户端-服务器架构实现的。它利用一组协作的用户空间进程(daemon),提供一个群集范围内的一致的命名空间,并将数据条块化,分配到多个群集节点中。

    PVFS 客户和服务器之间的消息传递通过 TCP/IP 来完成,提供可靠的通讯环境。所有的 PVFS 文件系统数据都保存在 I/O 节点的本地文件系统中,本地的文件系统可以是一个硬盘驱动器上的一个分区,可以是整个磁盘驱动器,也可以利用本地所支持的 Linux 文件系统(例如 ext2,ext3 和 ReiserFS)所提供的多个磁盘驱动器的逻辑卷。

    PVFS 使用管理节点,I/O 节点和计算节点三种类型的节点。一个群集节点可以提供其中的一种功能,也可以同时提供其中的两种功能或三种功能。但是 PVFS 还是存在不少问题,比方说它的集中的元数据管理可能成为整个系统的瓶颈,可扩展性受到一定限制。还有它的系统中的数据没有采取相应的容错机制,系统的可用性有待提高。由于是采用的静态配置,因此不具备动态扩展性。

0
相关文章