存储 频道

初志集群存储助力油田勘探开发研究院

  初志科技集群存储方案

  CZSS集群存储系统是面向具有海量数据和高并发访问的应用环境而设计,在面向地震资料处理应用环境中,CZSS集群存储系统能够提供更高的性价比。

  CZSS集群存储硬件包括元数据服务器集群和智能存储服务器集群,软件包括元数据服务模块、存储服务软件和客户端模块。CZSS集群存储系统采用开放架构设计,可以选用品牌的服务器和 SAS磁盘柜构建硬件平台,让存储的构建具备更高的灵活性。通过CZFS软件在通用服务器和 SAS磁盘柜基础上构建性能和可靠性超越FC SAN的存储平台。

   CZSS存储方案

  针对油田勘探开发研究院的实际需求,我们建议采用如图2.1所示的解决方案。

  图2.1中可以将油田地震数据处理系统分为三个集群,分别是:计算节点集群、元数据服务器集群和智能存储服务器集群。计算节点集群系统是一个由大量计算节点组成、运行地震资料处理软件的计算集群;元数据服务器集群由多个服务器并行管理文件系统的元数据(包括文件目录树组织、属性维护、文件操作日志记录、授权访问等),管理整个存储系统的命名空间,对外提供单一的文件系统映像;智能存储服务器集群由IO服务器和SAS磁盘柜构成,提供相应的存储资源,提供并发的数据访问。

初志科技集群存储方案
图2.1 CZSS集群存储方案拓扑图

  方案特点及解决的问题

  方案特点

  本方案是一个典型的高性能存储系统结构,并且专门使用于高性能计算的并行存储系统,将这一结构的优点发挥的淋漓尽致。

  • 高稳定性的结构体系:
  • 智能存储服务器属于集群架构;
  • 基于SAS技术的存储设备;
  • 在任何故障情况下,存储系统包括智能存储服务器在内,都可以进行不停机的在线的维护。
  • 文件系统性能和使用效率的最大化:
  • SAS磁盘柜通过与CZSS结合后消除了I/O节点,使存储空间和对外共享成为一个整体,构成了适合高性能计算集群应用的高I/O集群存储。
  •  存储系统的持续性能均满足所有计算节点同时访问的性能要求,读写性能均满足满足多个计算节点的并发访问要求,多个计算节点同时访问同一个文件也不会产生性能的瓶颈。
  • 存储平台超强的扩展能力:
  • 增加智能存储服务器可以把I/O性能来线性提高到几十个GB的聚合带宽,实现每秒数十万个的文件查询效率,大幅度减少计算任务的数据IO 时间,提系统的整体效率。
  • 增加SAS磁盘柜,可轻松实现PB 级的存储容量,良好的动态扩展能力使得用户能够快速的按需扩量。轻松满足地球物理等数据量极其庞大的应用领域。

  解决的问题

  本存储系统方案解决了如下问题:

   文件共享:数据的存取不再依赖于I/O节点,所有的计算节点都能够直接访问到所要求的数据,极大地提高了计算节点和整个集群系统的使用效率。

  控制成本:存储系统的搭建摆脱了昂贵的FC设备。集群存储通过SAS磁盘柜结合智能存储服务器既可轻松达到FC的性能,极大地降低了部署以及维护成本。

  消除I/O节点:通过集群存储把整个存储系统进行统一,由智能存储服务器集群对计算节点提供一致的数据服务。

  部署灵活:通过增加智能存储服务器和 SAS磁盘柜既可轻松实现I/O性能的线性提升,以及存储空间的扩容。

  存储的集中化:可以非常容易地进行容量的再分配和简化的系统管理,同样节省了宝贵的空间资源。

  管理的简单化:通过基于 SAS磁盘柜的集群SAN,大大地简化了整个存储系统的管理。

0
相关文章