【IT168 资讯】以传统的方式存储和管理日益增长的数据，意味着你需要不断地增加磁盘，投入更多的人力与物力，导致成本上升。以优秀的分级存储软件和自动磁带库系统，即可以轻松实现海量数据存储。

　　考虑到海量存储系统是IT构架的核心模块， 这里存储网络架构采用双Fabric网络结构，这种结构一方面带来了高可用性，另一方面提供了更多的数据通信带宽。下面是海量存储系统的双 Fabric网络结构图：

　　图 12-1 双光纤通道结构

　　其中网络核心采用 director级别的核心光纤通道交换机 1 台(端口数>=128)，通过在其内部划分虚拟 SAN 分别构成两个独立的 fabric;为保证高可靠性和提高系统的运行速度，存储工程师在各服务器群的每台主机上都通过两个 HBA 连接到不同的 Fabric网络中，而且存储设备(磁盘阵列和磁带库)也是同时接入两个 fabric，这样构成了一个无单点故障的网络系统。

　　双 Fabric存储网络设计要点和优势：主机和存储设备的冗余连接，整体提高系统的可靠性主机和存储设备的双路连接，工作在 Active-Active模式，整体提高系统的性能 双网络结构设计，提高网络的可靠性，避免由于意外系统故障造成网络中断 双网络结构设计，核心-边缘体系架构，方便未来网络的扩充 交换机具有很强的向下兼容性，即可兼容 1G的交换机，又可兼容 1G 的存储设备，如磁带库等设备都可直接连接到交换机中，提高设备的利用率 可做 LAN-Free 备份，减少备份对网络带宽的占用，整体提高数据备份和恢复的速度 有利于系统的在线维护和扩展，而不影响系统的正常运行 采用硬件实现的网络安全性管理，保证数据的安全性 与外部存储网络的互联方案 外部存储网络的接入是为了更好的提供基于数据复制(异步或同步)的容灾服务。

　　本着为客户各部门不同容灾需求服务的原则，这里存储工程师设计了采用三种形式的存储网络外部互联方案，即：

　　FCIP 接入方案

　　DWDM接入方案

　　SDH接入方案

　　在 100Km以内的连接上这三种接入方案的特点如下：

　　表 12-1 外部网络存储通道比较

　　无论是内网还是外网及互联网存储网络，这里在外部接入采用同样的技术和拓扑结构，只是由于内网的数据量较少，采用端口数少的 SAN 路由器，SAN 路由器的数量也应当适当减少。具体拓扑结构如下图所示：

　　图 12-2 SAN 及扩展 IP网络连接

　　注：为了清晰明了的原则，这里将服务器和局域网的连接省略。 如图 12-2，FCIP 接入方案将 SAN路由器接入核心交换机，从链路冗余的角度出发，SAN路由器分别接到不同 fabric 中，同时 SAN 路由器会接到局域网的千兆交换机上;这样就可以通过 SAN 路由器的 FCIP功能将 FC 协议转换为 IP协议，通过 IP网络与远端的某部门计算中心的 SAN 路由器互联，在通过该路由器的协议转换将 FC 协议传输到该部门的 SAN网络中，从而将容灾中心和该部门的存储网络互联，使得两个存储网络中的设备可以实现基于FC 的高速数据通信。

　　如图，DWDM接入方案将 SAN路由器接入核心交换机，从链路冗余的角度出发，SAN路由器分别接到不同 fabric 中，同时 SAN 路由器会接到 DWDM 设备上;这样就可以通过DWDM 设备的波分复用功能将多条 FC 通信，通过裸光纤传输到远端的某部门计算中心的DWDM设备，通过它的解复用功能，再通过 SAN 路由器将容灾中心和该部门的存储网络互联起来，使得两个存储网络中的设备可以实现基于 FC的高速数据通信。

　　如图，SDH 接入方案与 DWDM 方案类似，将 SAN 路由器接入核心交换机，从链路冗余的角度出发，SAN 路由器分别接到不同 fabric中，同时 SAN 路由器会接到 SDH 设备上;这样就可以利用 FC over SDH技术，通过 SDH网络将数据传输到远端的某部门计算中心的SDH设备，进而再通过 SAN路由器将容灾中心和该部门的存储网络互联起来，使得两个存储网络中的设备可以实现基于 FC 的高速数据通信。这里之所以采用 SAN 路由器，主要是在不同的 fabric 间提供路由服务功能。

　　路由服务功能正是可以将不同的 Fabric 网络逻辑地连接在一起，在不同的 Fabric 网络上共享存储资源，这一功能可以充分利用分离 Fabric的种种好处，提供误隔离和方便管理的能力。 路由服务可以隔离 SCN 和 RSCN 等功能。如在一个 Fabric 中产生的 RSCN，可以通过路由服务隔离，不会传到另外一个网络中，可以避免由于 RSCN 造成的 Fabric Reconfiguration;另外，也可以隔离由于设备原因，造成主机之间的相互影响，提高系统的运行效率。对于远程连接网络，这一点尤其重要。 方案中将不同应用的数据备份到容灾中心的磁带库之中，而又不影响两个系统的相对独立，所以采用 SAN 路由器将不同的 Fabric 网络互连。连接到 SAN 路由器的 Fabric 被称为边缘 Fabric，由于 SAN 路由器可以有效隔离不同 Fabric 网络之间的相互干扰，这就允许用户建立更大规模的 SAN 网络，确保系统具有更为强大的扩展能力。

　　通过路由服务，每个边缘 Fabric 都保留自己独立的 Fabric 服务：名称服务器、分区数据库、路由表、域 ID 空间，等等。这就是说，假如一个 Fabric 有一个域 ID 1 交换机，另一个 Fabric 也有一个域 ID 1 交换机，但没有该多协议路由器，这些 Fabric 就不会合并，除非这些冲突得到解决。在生产环境中，解决这些冲突是一个非常耗时和危险的过程。有了多协议路由器，这些冲突就成了无关的问题。 在 SAN 路由器平台上，其他 Fabric 通过路由功能与路由器相连接。这可以防止 WAN链路上的故障转化为影响整个容灾中心 SAN或某部门计算中心 SAN 的事故。这个优点很重要，因为一般的远距离连接链路(裸光纤/DWDM/SDH/IP)的都有一定的不稳定性。一条不稳定的远程连接链路

　　磁盘阵列存储设施

　　海量存储的核心对象是数据，因此数据的存储设备是海量存储系统的核心设备。如前所述，采用 SAN 网络，可以将海量存储系统存储的数据实现集中存储，实现集中存储的存储设备形成存储池。本处描述海量存储系统基于磁盘的存储实现。根据对该海量存储系统的需的分析，以及根据“按需扩展”的原则，这里初步设定海量存储系统的存储池容量 50T。该容量可以基本满足未来一段时间内的需要，随着容灾业务的发展，更多的容量可以通过扩展更多的存储磁盘阵列来实现。

　　根据海量存储系统服务用户数量众多，数据访问 IO 频繁的特点，选择的磁盘阵列应该具有如下特点：

　　1. 应该选择性能较好的光纤磁盘阵列，保证良好的读写性能和可靠性。

　　2. 磁盘容量应该尽可能的大。考虑到主流磁盘阵列的容量、经济型、以及磁盘阵列的集中管理的便利性，尽可能采用大容量配置的磁盘阵列机柜。目前建议采用磁盘阵列的最大容量大约为 30T的产品。

　　3. 磁盘阵列应该附带有强大的磁盘管理软件，实现磁盘阵列的分区、访问控制、容量扩展等功能。

　　4. 存储设备支持广泛的服务器平台。光纤磁盘阵列应该支持目前所有流行的主流UNIX 和 NT/2000、Linux 操作系统和服务器，并且应该允许尽可能夺得服务器同时连接到光纤磁盘阵列上。

　　5. 海量的扩展能力。可以仅仅通过增加磁盘，就达实现容量的扩展。应该支持不同容量的磁盘混合共存在同一盘阵内，为用户今后容量的扩展打下基础。在实际应用时，应该留出富裕的盘柜位置，以便在同一盘柜中较方便地实现扩展

　　6. 具备强大的数据复制功能。光纤磁盘阵列应该支持快速磁盘拷贝、远程容灾等先进

　　功能，为将来功能的进一步扩展打下基础。

　　7. 磁盘阵列支持支持多种 RAID 处理，和保留 Hot Spare硬盘的功能。

　　关于磁盘存储池的设计实现，以下是一些考虑：

　　1. 为了实现海量存储系统内网应用容灾的安全性，海量存储系统内网的数据存储设备将和其他数据存储设备分开。根据内网数据的大小，可以选择容量小一些的磁盘阵列，或者减少磁盘阵列柜的数量，但存储设施的架构基本相同。

　　2. 为了便于管理，建议先期采用同一厂家和型号的产品。

　　3. 建议先不考虑对存储池做虚拟存储管理。因为虚拟存储会影响数据存储的性能，其优势在于管理众多异构的存储盘柜。可以在将来容量快速增长之后，考虑虚拟存储管理技术的应用。

　　4. 为了便于充分使用，每个磁盘阵列需要分成不同的卷。为了实现不同数据的安全，可以将不同的卷加入到不同的 SAN 网络的“分区”中，实现数据卷的逻辑隔离。

　　5. 考虑到中心需要管理的数据卷较多，可能需要对用户卷信息进行管理，如果磁盘阵列附带软件没有设这一功能，可以通过磁盘阵列管理软件提供的 API 进行开发。 以上磁盘存储池的设计，没有考虑为特殊用户提供的磁盘阵列数据镜像(该方案在后面的章节描述)服务存储能力。该阵列中的数据，主要是通过远程备份、数据文件复制、数据库复制等服务软件，为用户保存的数据。

　　有些部门已经具备某些某种型号的磁盘阵列，如果实现磁盘阵列级的数据复制和容灾，往往需要海量存储系统提供同构的磁盘阵列。在这种情况下，本海量存储系统可能需要根据具体方案提供相对应的磁盘阵列。对这种海量存储系统需求，事先采购大量的磁盘阵列是不经济的，也是没有必要的。因此，对这种需求，应该在海量存储系统的场地和网络设施基础上，设计专门的方案，来实施实现。在本方案设计中，仅仅作为一种扩展考虑，不作为当前实施实现的一部分，也不纳入预算。

　　根据对用户数据量的分析估算，建议海量存储系统一期购置的存储设施为：

　　1. 内网磁盘阵列。容量为 10T，包括机柜，机头，磁盘以及相应高级功能和管理软件。

　　2. 外网磁盘阵列。容量为 30T，包括机柜，机头，磁盘以及相应高级功能和管理软件。

　　3. 存储管理服务器，中端的 PC服务器即可。

　　图 12 -3 海量存储系统扩展

　　磁带存储设施

　　数据备份是海量存储系统的核心业务，因此数据备份最终存储设备是海量存储系统的核心设备之一。如前所述，采用 SAN 网络，可以将海量存储系统存储的数据实现集中存储，实现集中存储的存储设备形成综合存储池。本处描述海量存储系统基于磁带的存储实现。 根据对海量存储系统需求的分析，以及根据“按需扩展”的原则，海量存储系统的磁带库存储容量按照 100 个单位，每个单位 600GB 备份量，备份周期为 1 周，2 周轮换磁带，至少需要 200GB 磁带 600 盘，考虑到冗余和其他因素，初步设计海量存储系统的磁带库存储容量为 1000 盘。该容量可以基本满足未来一段时间内备份的需要，随着容灾业务的发展，更多的容量可以通过增加扩展柜和磁带槽位，或采用更多的磁带库来实现。

　　根据海量存储系统服务用户数量众多，数据访问 I/O频繁的特点，选择的磁带库应该具有如下特点：

　　1. 即时、按需提供存储空间特性，使海量存储系统可以立即增添所需要的存储空间，并只为所需要利用的存储空间付费。

　　2. 成熟的存储网络互操作能力，意味着无缝集成到新的、或现有的 SAN 网络当中。

　　3. 集成的存储网络资源管理，为用户提供 SAN 设备和网络视图和设备级 SAN 安全控制机制。

　　4. 可以同时装载大量磁带机驱动器，以获得最高的性能和配置的灵活性。

　　5. 支持 LTO、AIT、SDLT/DLT8000 和 3590 等磁带机技术，通过方便的技术迁移和升级途径。同时支持混和磁带介质管理和操作。

　　6. 拥有众多高可用性特点，包括支持热更换电源、双磁带库控制器、热插拔磁带机驱动器等。

　　7. 拥有每秒钟清点 5 盘以上磁带的高性能机械手;可以快速自动发现新配置、自动校准所有部件。

　　8. 智能存储管理工具包含远程监控、自动报警和虚拟磁带库等功能。

　　关于磁带库的设计实现，以下是一些考虑：

　　1. 为了实现政务内网应用容灾的安全性，政务内网的数据存储设备将和其他数据存储设备分开。根据内网数据的大小，可以选择容量小一些的磁带库，或者减少磁带槽位的数量，但存储设施的架构基本相同。

　　2. 为了便于管理，建议先期采用同一厂家和型号的产品。

　　3. 建议远程的数据服务首先将数据备份到磁盘阵列上，再将数据导入磁带库;磁带库除了完成对外服务(如远程备份)外，需要对内的数据备份提供服务。

　　4. 为了便于充分使用，每个磁带库可以按需要分成不同的虚拟磁带库(分区)。为了实现不同数据的安全，可以将不同的虚拟磁带库加入到不同的 SAN 网络的“分区”中，实现数据逻辑隔离。磁带库部署图请参见存储网络设计。

　　介质存放设施

　　介质存放设施

　　在海量存储系统中需要保存各种移动数据存储介质，由于这些介质的数量会随着海量存储系统的运作和时间的推移而变得越来越多，所以有必要为这些介质设计和建设存放场所和空间——介质仓库，一方面便于介质的保护，一方面便于介质的查找。海量存储系统介质仓库的系统功能如下：

　　入库管理

　　海量存储系统介质入库的环节尤为重要。要求能够按照容灾计划做到即时确认、及时补充。 库管理员根据手中的手持终端(Handheld Terminal，简称 HHT)，调用后台资料，与容灾计划资料进行实时比照，并可通过终端无线驱动打印机打印对照表; 库管理员根据实时对照表，现场决定介质是否缺失，通过终端调用后台数据库通知容灾用户，以最快速度取回需要入库的介质;保证介质库中介质的可恢复性。

　　上架

　　将介质存放到架位上，要求介质价位应当可以保存各容灾部门所使用的所有格式磁带、光盘等介质。

　　架位管理

　　通过条形码及后台数据库系统对介质存放的架位进行统一的管理，确认哪个介质存放在哪个架位;可定时由库管理员实时检查介质存放的正确性。 通过终端或管理控制台实时地查看架位的存储情况、空间大小及介质最大容量/可用容量，管理仓库的区域、容量、体积和仓储限度。系统可以支持介质和架位的反复排定和追踪管理;避免实际现场的错误堆放;使之有序、易于比较和修正现场与系统管理的信息差异;显示、查询介质和架位的使用历史资料。

　　查询管理

　　在任何时间和地点，都可以通过终端进行查询;查询内容包括：介质信息、存储情况、有效期等等;每次查验可以包括该项诸多信息的逐一核对，并反馈给系统有效结果。 现场实时查询和容灾恢复的现场实时指挥工作变得方便容易。

　　介质追踪管理

　　在介质的整个生命周期中，从产生、入库保存、调用、归档直到销毁，对每个介质的信息进行追踪管理。

　　调用管理

　　完成调用要求检查、所有须用介质的查询和发送等工作

　　维护管理

　　对介质定期做防霉、防粘等维护工作，防止介质的损坏。

　　安全管理

　　设置介质库门禁和监控系统，防火、防盗。

　　介质存放设施管理系统架构

　　介质存放管理系统拓扑结构示意图如下：

　　图 12 -4 介质存放管理系统拓扑结构

　　如上图 12-4 所示，整个介质存放管理系统分为计算机管理系统和人工介质存放库两部分组成，其中介质管理系统主要通过条形码对介质进行统一的管理，为快速的查询和自动化的管理提供基础平台;介质库主要负责介质的存放，为数据存储介质提供安全的、防范各种危害(霉变、火灾等)的存储空间。而对外服务系统为容灾单位提供网上查询功能。注：内网和外网需要各建立一套管理系统和介质库。