第3章 IBM存储高可用性解决方案介绍

　　3.1 存储高可用性的内容

　　我们先来分析一下，高可用性所覆盖的内容。

　　首先，业务连续性由三级支撑构成。高可用性，扮演着其中最为基本的一级：

　　高可用性（High Availability）
　　要求容错的硬件、自动诊断以及故障隔离、预分析、冗余等。其中，冗余是其最核心的特征。

　　数据复制（Data Replication）
　　在同城、异地，或者同城及异地进行数据的有效复制

　　数据恢复（Data Recovery）
　　非计划停机时，进行保护和恢复，满足恢复点目标和恢复时间目标

　　高可用性，是体现在系统的各个细节中。从一个典型的IT系统拓扑来看，它的主要实现层次如下图所示：

　　本地存储设备层次的高可用性，如图中蓝色虚线方框所示，主要从以下三方面考虑：

　　冗余SAN网络

　　SAN交换机冗余配置，主机光纤通道卡、存储光纤接口双配置，冗余连接等。这部分设计用于防范通道、接口和网络的单点故障。

　　存储设备个体高可靠

　　除普遍支持RAID保护技术外，目前的部分高端企业级存储，还采用全冗余设计、镜像缓存等技术来进行自身保护。这部分设计和使用，侧重在于保证存储设备单个个体内的数据安全。当存储设备出现全面故障，不能运转时，最多只能保证“数据不丢失”，不能支持“数据持续访问”。

　　双存储设备

　　如上图中红色虚线部分所示，配置双磁盘设备，存放双数据拷贝。保证在单个存储服务器出现故障时，首先实现数据不丢失，其次实现业务的连续运行。

　　在这三方面中，冗余SAN网络、存储设备个体高可靠相对为人所熟悉，不再赘述。下面所谈的存储高可用性方案重点，将集中在“双存储设备”的环节上。

　　3.2 存储高可用性方案的主要实现方式

　　存储高可用性方案的主要实现方式：磁盘设备间数据镜像和磁盘设备间数据复制。

图：存储高可用性方案实现方式

　　3.2.1 磁盘设备间数据镜像

　　通过Power服务器的LVM（逻辑卷管理）技术，在两套IBM System Storage磁盘设备间（DS8000/DS5000/DS4000），建立数据镜像关系。两套存储设备同时处于活动状态。生产主机在写数据时，会同时写入两套磁盘设备中。该方式能够提供非常好的的持续可用性；当一台存储设备出现整机故障时，由另一台存储设备独立工作，应用不会受到中断。

　　这种双磁盘系统数据同步复制机制，是基于IBM主机系统和IBM存储系统相互配合的逻辑卷镜像方式（是AIX操作系统里LVM工具里的Mirror功能），是目前技术成熟度高、实施快速简便、行之有效的数据冗余方式。

　　采用这种方式，业务和应用的数据存储系统通过LVM的Mirror功能进行磁盘存储系统之间的镜像，实现存储系统的高可用性，在此环境中，即使有一半的主机系统和一半的存储系统发生故障而不能正常工作，整个系统也不会发生瘫痪，仍旧可以继续运行，充满足客户对高可靠性和连续可用性的要求。

　　采用LVM方案，用户不必改变现有环境，也不存在数据集中迁移的问题，而且业务系统保持同时在线；不存在系统接管、应用重新启动等问题，可以实现系统的平滑过渡。实施LVM方案，既可以在相同型号的IBM存储产品之间进行，也可以在不同型号的IBM存储产品之间进行。

　　在实施IBM LVM的数据同步方案时，分别将磁盘系统A和磁盘系统B通过光纤HBA卡连接到SAN交换机上，主机会有效识别两套存储系统，但对于应用没有任何影响；在主机上，基于磁盘底层的LVM在两套磁盘系统之间建立镜像关系，实现数据同步。

　　LVM可以提供操作系统级别的镜像（Mirroring）功能，即可以为一个存储块提供多份拷贝。该功能包含在逻辑卷管理中，具有以下特点：支持2～3份拷贝的镜像；可选择顺序（Sequential）和并行（Parallel）两种存取方式；读数据时可从先找到的拷贝处读取，加快访问速度；镜像功能在数据损坏时，能够从备份中（最多有3份备份）自动恢复，增强系统的可靠性。

　　为了实现数据的同步，可利用数据镜像功能，为已有的磁盘一上的生产数据添加一个拷贝，并将其镜像设备指定为磁盘二。正常工作模式下，数据的写入操作为，生产系统对磁盘一上本地数据的任何更新都实时在磁盘二上的数据得到更新，生产数据和备份数据的更新方式可以选择顺序方式或者并行方式，建议使用并行方式以增强整体性能；当生产存储系统发生故障时，生产无需停顿，生产主机利用备份的数据拷贝继续运行，因为两个系统间采取光纤直连方式，性能的影响可以忽略；当进行生产存储维修时，可断开镜像关系，当生产存储修复后，恢复数据镜像关系，数据重新在两份拷贝间同步。

图：LVM逻辑卷镜像架构图

　　3.2.2 磁盘设备间数据复制

　　通过Metro Mirror(同步的镜像模式)，和Global Mirror(异步的镜像模式)等磁盘数据复制技术，在两套同一系列的IBM System Storage磁盘设备间（DS8000/DS5000/DS4000），建立数据复制关系。对于主机来讲，活动状态的存储设备只有一台。这台存储设备使用硬件复制技术和备份磁盘之间进行数据复制，保持两个存储设备上的数据一致。存储系统的数据复制对于主机来说是透明的。

　　该基于智能存储设备实现的硬件级别的数据复制，无需占用主机设备的系统资源，但是要求生产中心和备份中心的存储设备的硬件平台相同，如果采用该种方案，除了要求生产中心和容灾中心的存储设备的平台性必须一致的限制外，该种方案还是具备其自身的优点，由于它是基于存储设备来实现整个系统的数据复制，因此，它对主机系统的资源没有消耗，可以保证相关主机上的应用高性能运行；另外，基于该种方案的数据复制系统在搭建数据链路时，普遍采用了基于FC 的光纤裸链路，不管是采用同步或异步的传输方式，其数据的传输性能可以得到保证。

　　镜像模式是全面的容灾及业务连贯性策略的组成部分。对于重要数据推荐使用Metro Mirror模式，而对不十分重要的数据可以使用Global Mirror的混合方式。

镜像模式图示

　　Metro Mirror用来将一个存储系统镜像到另一个已经超过距离范围的系统。它被用来在存储系统内部控制同步，因此对于主机应用服务器来说，它几乎是透明的。这项功能被用来提供数据可用性，并且是实现容灾及业务连贯性的关键技术。Metro Mirror模式可以对逻辑驱动器进行同步镜像。Global Mirror用于异步镜像，并包含写顺序一致性选项。

　　Metro Mirror模式介绍：可在数十KM范围内实现生产点与容灾点的数据无丢失。

　　同步远程拷贝(synchronous writes)：来自主机的数据被写往本地连接的磁盘系统，该系统将数据转发给远地点连接的磁盘系统。只有当两个系统都拥有数据的拷贝以后，本地系统才会向主机返回一个I/O完成指示。同步远程拷贝能够在远地点提供最新的数据，但应用程序会因等待写I/O操作的完成而被延迟。Metro镜像模式能够提供最高等级的保护，其中主逻辑驱动器和备用系统都会保持最新的更新，但是对远程系统写操作的固有延迟会降低整个应用的性能。Metro 镜像模式用于主系统和备用系统间距离小于10公里的同步镜像，由于距离的限制这种方式也叫做“同城镜像(Metro Mirror)”。这种模式用于精确同步。

　　Global Mirror 模式介绍：在保证数据一致性的同时，可以实现容灾点只比生产点的数据稍有延迟。

　　异步远程拷贝(Asynchronous Write )：来自主机的数据被写往本地连接的磁盘系统，该系统立即向主机返回一个I/O完成指示。数据在很短的一段时间(在实际中通常在数秒钟到一分钟左右)以后被送往一个远程磁盘系统。异步远程拷贝对应用程序性能的影响最小，但远程磁盘系统在数据的更新程度上与本地系统相比会有一个延迟。

　　单纯的异步拷贝由于线路距离较远等原因，本地磁盘和远地磁盘可能会有逻辑卷读写顺序上的差异。这种方式也叫做“全局拷贝(Global Copy)”。在全局拷贝(Global Copy)的情况下，比如本地磁盘系统提供给主机5个逻辑卷，某一时刻主机对这些逻辑卷发起了A，B，C，D，E，5个写盘请求，本地的磁盘系统的写顺序是A，B，C，D，E。但是由于线路等原因，远地的磁盘系统在接收写请求时，收到的顺序可能是A，C，B，D，E。写盘的顺序也是A，C，B，D，E。我们假设灾难发生在这5个写操作D，B的中间部分，那么这时远地的数据C很有可能是没有意义的，甚至是无理的。

　　为了解决本地磁盘和远地磁盘可能存在的逻辑卷读写顺序的差异，IBM的磁盘系统提供带有一致性组的异步远程数据拷贝。在这种方式下，远地的磁盘系统会将先收到的写请求缓存起来(比如上面的数据C)，等到它前面的数据(A,B)到达后，再按照顺序写盘。这种方式叫做“全局镜像(Global Mirror)”。见下图：

　　存储高可用性实施方案总结：

　　磁盘设备间数据镜像方式 ：通过Power服务器的LVM（逻辑卷管理）技术，在两套IBM System Storage磁盘设备间（DS8000/DS5000/DS4000），建立数据镜像关系从而实现高可用性。
　　磁盘设备间数据复制方式：通过Metro Mirror(同步的镜像模式)，和Global Mirror(异步的镜像模式)等磁盘数据复制技术，在两套同一系列的IBM System Storage磁盘设备间（DS8000/DS5000/DS4000），建立数据复制关系从而实现高可用性。

　　3.2.3 层叠式镜像技术

　　两地三中心容灾解决方案介绍

　　我们选用IBM的企业级存储系统DS8000，结合磁盘层叠式镜象技术（Metro Global Mirror）为您建立两地三中心容灾解决方案：在本地生产中心的DS8000存储相应的业务数据，通过 Metro Mirror模式将数据同步到同城备份中心的DS8000，可以实时保证数据的一致性。同时位于同城DS8000的同一份数据可以同异地远端的DS8000通过Global Mirror模式进行数据镜像，实现异地的数据备份及保护。

技术要点：

　　同城范围镜像数据可以不丢失；
　　异地镜像数据根据灾难情形，尽可能降低数据丢失机率；
　　镜像网络中断恢复后，任意两站点之间可以通过增量方式实现再同步，无需重传；
　　本地中心失效时，同城中心可保证RPO=0；
　　城域 + 跨地域，异地中心典型RPO为 3-5s；
　　生产中心应用系统响应时间只受本地的两个中心的距离影响。

业务价值：

　　尽可能保障没有数据丢失影响；
　　为多种应用和业务提供保护；
　　为灾难后业务的恢复提供最好的数据基础；
　　远距离备份，提高灾难抵抗能力；
　　降低镜像网络成本。