【IT168 方案】近年来，油田稳产高产的技术难度越来越大，迫切需要进行更大范围精度的石油地震勘探，随着油田探区油气勘探程度的优化，复杂地质构造与地震岩性成像已成为现实需要解决问题。石油勘探工作是在复杂构造地区将地表图层数据采集并数字化，供软件分析成像，以满足油田复杂地质构造与地震成像的要求。这就需要用海量存储系统对采集的地震资料数据进行存储，并提供给高性能计算平台进行处理分析。

　　在油田勘探高性能计算领域，随着地震数据采集技术的不断进步，数据量也在急剧上升，迫使资料处理环境从以服务器为中心转变成了以存储为中心。

　　特别是近年来，基于PC Cluster技术的计算机集群逐渐取代了大型机，数据的读取和操作方式也发生了改变，尤其是同一份数据需要满足多个计算服务器的并发访问，对存储系统提出了前所未有的挑战。传统的SAN存储方案，其设计的本质思想面向传统的大型机，在面对大量作业并发进行数据读写时性能往往表现不如人意。而NAS产品固有的性能瓶颈也阻碍了其在地震资料处理中的应用。

　　为了寻求新的计算环境下最合适的存储解决方案，油田勘探开发研究院组织了国内外所有知名品牌存储厂商，包括FC SAN厂商、SAN文件系统厂商、NAS厂商、以及集群存储厂商，针对实际应用环境进行技术交流、设计、测试，以甄选出最优秀的解决方案。

　　在本方案中，我们推荐使用SAS磁盘柜作为存储介质。利用SAS磁盘柜结合CZSS集群存储系统来搭建具有线性提升性能，空间无限扩展的，高性能集群存储系统。

　　CZSS是一款针对海量数据存储应用而设计的存储系统，基于开放架构设计，采用通用智能存储服务器作为基本的构建单元，为应用提供全局统一的系统映像和完全POSIX 兼容的API 接口。

　　CZSS大规模集群存储系统采用了自主研发的全系统规模数据高可用技术，彻底消除存储系统中的单点故障，结合特有的自动故障探测和快速故障恢复技术，确保用户的应用持续稳定地运行;CZSS 存储系统能够为用户提供PB级的存储容量，并根据用户应用发展的趋势，适时按需进行在线动态扩展;世界领先的元数据服务器集群技术消除了现有存储系统中所存在的单目录下文件数量、小文件处理速度等种种限制，提供了近乎无限的文件存储数量和极高的文件检索速度，是业界唯一一款能够高效支持千万级大目录的存储系统。

　　本方案建议书供油田勘探开发研究院的技术专家参考。在本方案设计中，我们本着在满足需求的基本要求下，采用优化设计，使存储设备方案具备高可靠性、高性能、可扩展性、可管理性，并提供更快的I/O速度，让用户能够以最低的总体拥有成本(TCO)打造最适合业务的存储平台。

　　 用户现状分析

　　油田勘探开发研究院地震勘探处理系统由698 台刀片式服务器和42台I/O服务器、高速 10 千兆位以太网和一个 SAN磁盘存储阵列、一套SAN文件系统组成。通过地震数据处理软件，能够实现高分辨率地震数据处理和地震叠前时间/深度偏移处理。如图2.1所示。

图2.1 现有环境示意图

　　这套系统在过去几年为提高油田地震数据处理的效率做出了巨大贡献。但是随着数据量和处理任务越来越大，SAN存储系统逐渐表现出不能适应当前应用需求的缺陷：

　　共享性能不足：虽然该方案中使用了多IO服务器提供数据的并发访问，但是当大量地震资料处理作业在并发访问作业时，最后的瓶颈往往会是SAN控制器上;特别是作业数量达到一定程序，整套系统的IO性能反而急剧下降;

　　可靠性隐患：FC SAN设备的Raid只能在一台存储设备内实现，一旦该台存储设备出现失效，或者在Raid重建期间发生第二块硬盘损坏，就会造成数据的丢失，带来巨大损失;

　　总体拥有成本高：FC SAN和SAN FS都是依靠大量专用而又昂贵的硬件组成，具有构建时间长、购置费用高、维护支出高、服务费用高等缺点，导致整套系统的总体拥有成本居高不下;

　　数据恢复时间过长：一块硬盘损坏，设备Raid数据重建，5TB的数据不停机重建需要耗时8小时以上，该期间设备IO性能会损失50%以上。

　　项目建设目标

　　本项目建设目标是要采用当今主流的网络存储技术， 为油田勘探开发研究院提供一个可满足地震处理中IO密集型应用的，高性能共享、高可靠、安装简单、可平滑扩容的数据存储平台，提高地震资料处理的效率，适应业务快速增长的需求。初期规模为200TB的共享存储平台，整套系统存在以下几个关键需求：

　　高性能需求：计算节点对存储系统性能要求比较高，为避免作业数量达到一定程度，整套系统的IO性能急剧下降的现象，存储系统需要提供极高的读写聚合带宽。

　　低故障率需求：整套系统必须具备较强的硬件容错能力，避免Raid重建过程中I/O性能大量损失和数据丢失，保证业务稳定运行。

　　数据全局共享需求：计算节点之间必须能够共享全局命名空间。

　　易管理需求：整个系统的日常管理、运行维护必须十分简单。。

　　低成本(CTO)需求：在满足需求的前提下降低总拥有成本。

　　系统设计原则

　　为达到油田勘探开发研究院建设的目标要求，我们认为在集群存储系统设计中，必须坚持以下原则：

　　系统高可靠性和可用性：存储系统是整个地震资料处理系统的核心，因此确保存储系统的可靠性和数据的可用性至关重要。存储系统务必要保证全局没有单一故障点，硬件故障时还能提供7x24小时在线数据读写服务，不影响业务运行;局部硬件失效不影响数据的完整性;故障恢复不影响业务运行。

　　高共享性能:地震资料分析最大的特点就是大量作业并发的进行数据读写。系统设计应该从实际应用出发，提供更高的数据并发访问性能支持，以更高的性能支持更多的并发作业，提高地震资料处理效率。

　　灵活性及可扩展性：根据未来业务的增长和变化，系统可以平滑地扩充和升级，最大程度的减少对网络架构和现有设备的调整，对前端业务的影响可以降到最低。

　　管理简单：采用标准的TCP/IP架构，具有智能化故障高速修复功能。管理必须能够集中化、自动化、智能化，确保管理工作量不会随着容量的增长而增加。

　　较低的总体拥有成本(TCO): TCO是指资产购进成本及在其整个生命服务周期中产生的成本之和。存储系统的总体拥有成本由设备购置成本、实施成本、维护成本、管理成本、升级成本、宕机成本等因素构成。CZSS集群存储的方案，着力于从上述多个方面帮助用户降低成本，从而达到有效的降低TCO。

　　初志科技集群存储方案

　　CZSS集群存储系统是面向具有海量数据和高并发访问的应用环境而设计，在面向地震资料处理应用环境中，CZSS集群存储系统能够提供更高的性价比。

　　CZSS集群存储硬件包括元数据服务器集群和智能存储服务器集群，软件包括元数据服务模块、存储服务软件和客户端模块。CZSS集群存储系统采用开放架构设计，可以选用品牌的服务器和 SAS磁盘柜构建硬件平台，让存储的构建具备更高的灵活性。通过CZFS软件在通用服务器和 SAS磁盘柜基础上构建性能和可靠性超越FC SAN的存储平台。

　　 CZSS存储方案

　　针对油田勘探开发研究院的实际需求，我们建议采用如图2.1所示的解决方案。

　　图2.1中可以将油田地震数据处理系统分为三个集群，分别是：计算节点集群、元数据服务器集群和智能存储服务器集群。计算节点集群系统是一个由大量计算节点组成、运行地震资料处理软件的计算集群;元数据服务器集群由多个服务器并行管理文件系统的元数据(包括文件目录树组织、属性维护、文件操作日志记录、授权访问等)，管理整个存储系统的命名空间，对外提供单一的文件系统映像;智能存储服务器集群由IO服务器和SAS磁盘柜构成，提供相应的存储资源，提供并发的数据访问。

图2.1 CZSS集群存储方案拓扑图

　　方案特点及解决的问题

　　方案特点

　　本方案是一个典型的高性能存储系统结构，并且专门使用于高性能计算的并行存储系统，将这一结构的优点发挥的淋漓尽致。

• 高稳定性的结构体系：
• 智能存储服务器属于集群架构;
• 基于SAS技术的存储设备;
• 在任何故障情况下，存储系统包括智能存储服务器在内，都可以进行不停机的在线的维护。
• 文件系统性能和使用效率的最大化：
• SAS磁盘柜通过与CZSS结合后消除了I/O节点，使存储空间和对外共享成为一个整体，构成了适合高性能计算集群应用的高I/O集群存储。
•  存储系统的持续性能均满足所有计算节点同时访问的性能要求，读写性能均满足满足多个计算节点的并发访问要求，多个计算节点同时访问同一个文件也不会产生性能的瓶颈。
• 存储平台超强的扩展能力：
• 增加智能存储服务器可以把I/O性能来线性提高到几十个GB的聚合带宽，实现每秒数十万个的文件查询效率，大幅度减少计算任务的数据IO 时间，提系统的整体效率。
• 增加SAS磁盘柜，可轻松实现PB 级的存储容量，良好的动态扩展能力使得用户能够快速的按需扩量。轻松满足地球物理等数据量极其庞大的应用领域。

　　解决的问题

　　本存储系统方案解决了如下问题：

　　 文件共享：数据的存取不再依赖于I/O节点，所有的计算节点都能够直接访问到所要求的数据，极大地提高了计算节点和整个集群系统的使用效率。

　　控制成本：存储系统的搭建摆脱了昂贵的FC设备。集群存储通过SAS磁盘柜结合智能存储服务器既可轻松达到FC的性能，极大地降低了部署以及维护成本。

　　消除I/O节点：通过集群存储把整个存储系统进行统一，由智能存储服务器集群对计算节点提供一致的数据服务。

　　部署灵活：通过增加智能存储服务器和 SAS磁盘柜既可轻松实现I/O性能的线性提升，以及存储空间的扩容。

　　存储的集中化：可以非常容易地进行容量的再分配和简化的系统管理，同样节省了宝贵的空间资源。

　　管理的简单化：通过基于 SAS磁盘柜的集群SAN，大大地简化了整个存储系统的管理。

　　CZSS集群存储系统介绍

　　 CZSS集群存储系统概述

　　CZSS集群存储系统是一款针对海量数据存储应用而设计的大规模开放架构集群存储系统，采用工业标准的硬件设备作为基本的构建单元，为应用提供全局统一的文件系统映像和完全POSIX兼容的API接口。

　　CZSS集群存储系统采用了自主研发的全系统规模数据高可用技术，彻底消除存储系统中的单点故障，结合特有的自动故障探测和快速故障恢复技术，确保用户的应用持续稳定地运行;CZSS集群存储系统能够为用户提供PB级的存储容量，并根据应用发展的趋势，适时按需进行在线动态扩展;世界领先的元数据服务器集群技术消除了现有存储系统中所存在的单目录下文件数量、小文件处理速度等种种限制，提供了近乎无限的文件存储数量和极高的文件检索速度，是业界唯一一款能够高效支持千万级大目录的存储系统(单目录下可轻松创建千万数量级的文件，并能对文件进行高速随机检索)。

　　CZSS集群存储系统架构

　　CZSS集群存储系统主要由应用服务器集群、元数据服务器集群、智能存储服务器集群三大部分组成。如图3.1所示。

　　应用服务器集群：运行客户应用程序的集群，进行特定的计算、信息处理及业务服务等。

　　元数据服务器集群：管理文件系统的元数据(包括文件目录树组织、属性维护、文件操作日志记录、授权访问等)，管理整个存储系统的命名空间，对外提供单一的系统映像。

　　智能存储服务器集群：存储用户的实际数据，是整个CZSS集群存储系统的存储资源提供者。

图3.1 CZSS系统架构图

　 CZSS集群存储技术特点

　　CZSS集群存储系统具有以下特点：

　　海量存储：CZSS集群存储系统可提供PB 级的存储空间，高效的管理上百亿个文件，单目录可以有效支持千万级的文件数量。

　　数据共享：采用全局命名空间，所有应用服务器看到一致视图，方便用户数据的统一管理，并简化应用系统的开发。

　　高性能：CZSS集群存储系统高效数据读写技术和文件查询技术能够提供高达几十个GB 的稳定聚合带宽以及每秒数十万个的文件查询效率。

　　高可用：独有的自动故障探测和高效的自动恢复和容错技术，保证了系统的高可用特性。

　　易扩展：CZSS集群存储系统提供了在线扩容功能，无需中断业务运行，同时系统的总体IO 带宽随着规模的扩大成线性增长。

　　多数据通路：CZSS集群存储系统可以同时使用多条高速数据通道，可消除网络层的单点故障，进一步提高系统的高可用性。

　　易管理：CZSS集群存储系统配有简单易用的图形化管理和监控界面，支持通过专用的安全通道进行远程配置和全系统监控。

　　低成本：无需专用存储硬件，利用开放协议通用硬件构建，大大的降低了存储系统的拥有成本。

　　通用性：遵循POSIX 标准的文件级API 接口，提供完全标准的文件系统锁。

　　在线升级：提供简单灵活的在线升级功能，较高提升了系统的稳定性。

　　CZSS集群存储方案优势

　　CZSS集群存储方案在满足油田勘探研究院地震勘探高性能计算应用方面，具有突出的技术和综合成本优势。下面我们从共享性能、可靠性、扩充性、易管理性、总体拥有成本等多方面对CZSS集群存储和FC SAN+共享文件系统、集群NAS等方案进行详细比较分析。

　　 对FC SAN+共享文件系统的比较优势

　　共享性能

　　首先，CZSS集群存储系统是基于分布式文件系统的存储，支持多客户端的并发访问;而FC SAN自身只提供了块级的访问接口，并不能支持文件共享，所以SAN方案必须采用在客户端另行安装共享文件系统的方式;

　　其次，在性能上，CZSS采用数据分布式存储，无论是一个文件还是一个目录，数据都会按照一定的算法分布到存储服务器集群内的机器上，不存在计算和通道瓶颈，在被N个客户端访问时的IO性能，可以接近达到一个客户端访问的N倍，而且存储服务器数量越多，IO性能也呈现线性增长态势;而FC SAN的文件分布在一个LUN内，一个LUN所能够提供的处理能力和IO能力都是有限的，因此多个作业并发访问时，响应速度和IO会出现不升反降的趋势。分别如图4.1、图4.2所示。

图4.1：CZSS集群存储文件共享IO方式

图4.2 FC SAN共享文件示意图

　　由图可见，在FC SAN中，虽然SAN设备本身拥有较高的通道能力(如4Gb)，但是在共享环境下，存储所能够提供的IO性能受制于控制器的处理效率，整体性能的瓶颈无法从根本上得到解决。而CZSS集群存储系统完全是分布式的访问方式，访问压力平均分配到每个存储服务器上，因此系统所提供的数据IO性能几乎就是每台存储服务器性能相加的总和。

　　可靠性

　　CZSS集群存储系统采用全局数据冗余设计，保证每个数据块都能分布在不同的存储服务器上，这样带来的好处是：

　　1、数据重构速度极快;克服了传统RAID重构速度慢的隐患;

　　2、允许多块硬盘失效，甚至整台存储服务器失效，系统都能保证数据的完整性。

　　反观 FC SAN设备，虽然在单台设备的可靠性设计上采用了硬件冗余、RAID保护等方式，但有却出现了两个问题：首先，随着磁盘容量越来越大，硬盘数量越来越多，RAID的重建时间也越来越长，一次RAID重建往往花费十个小时以上，而在此期间，一旦RAID组内又有一块硬盘损坏，就会造成用户数据丢失，这在实际应用中并不少见。其次，如果单台SAN设备失效，也会造成数据丢失。

　　扩充性

　　CZSS集群存储系统具有十分灵活的在线扩展能力。对于新加入的存储服务器，只要运行CZFS的负载均衡软件，就可以自动地将数据向新设备迁移以实现全局数据平均分布和服务平衡分担，整个过程无需人工干预。用户完全可以按需购买相应的容量，而且随着存储规模的扩充，存储容量越大，系统性能越高。

　　而SAN方案会出现相反的情况，除了极少数SAN设备支持在线扩展Raid阵列外，其余产品扩容需要停机，重新规划空间分配;而且容量规模的扩充并不能带来性能的提升。

　　总体拥有成本

　　CZSS集群存储系统采用通用的TCP/IP协议和通用的硬件，网络维护人员都能轻松的承担维护任务;而且CZSS集群存储系统具有故障自恢复功能，能够以接近零维护的长期稳定运行，极大的降低了维护管理成本。系统故障时数据重构速度极快，且几乎不影响性能，这也降低了宕机成本。

　　而SAN厂家普遍采用复杂的光纤协议，使用维护非常复杂;厂家专用设备和磁盘，价格十分昂贵，维修成本很高，而且各厂家之间的兼容性也较差，导致将来的升级维护成为难题。系统重构需要中断业务，需要较高的宕机成本。

　　对集群NAS的比较优势

　　架构对比

　　集群NAS和CZSS集群存储系统的架构对比如图4.3所示。

图4.3 集群NAS与CZSS集群存储系统架构对比

　　IO带宽

　　CZSS的所有存储服务器能够以同时提供并发访问，计算节点到存储服务器之间使用的是高效率的CZFS协议，在实际使用中能够充分的利用网络资源，将物理的通道带宽发挥到极致，提供给处理作业最大的IO性能支持。

　　集群NAS设备是由多个NAS设备提供给计算作业的是效率极其低下的NFS协议。在常用的千兆以太网环境里面，NFS协议只能够利用50%左右的带宽。而且随着作业数量的增加，NFS服务器很容易出现崩溃等故障，导致作业被中断，造成人力、物力的损失。

　　 扩充性

　　CZSS集群存储系统具有十分灵活的扩充能力。对于新加入的存储服务器，LeoFS的负载均衡软件，可以自动地将数据向新设备迁移以实现全局数据平均分布和服务平衡分担，整个过程无需人工干预。用户完全可以按需购买。而且随着规模的扩充，存储容量越大，系统性能越高。

　　而SAN设备则完全是另外一种情形，除了极少数SAN设备支持在线扩展Raid阵列外，其余产品扩容需要停机，重新规划空间分配;而且容量规模的扩充并不能带来性能的提升。

　　文件规模

　　CZSS系统单目录下文件数量可达千万，系统总文件数量上百亿;

　　集群NAS系统单目录下文件数量为十万数量级，系统总文件数量为百万数量级，超过数量文件将会导致目录无法打开。

　　 可靠性

　　可靠性对比同FC SAN。

　　总体拥有成本

　　CZSS独具的接近零维护功能、系统自动恢复、极低的宕机成本，使得总体拥有成本优势明显。