第二驾马车:独有的InSpire全网状体系架构
尽管选用了低成本低规格的SSD硬盘,但Craig认为得益于3PAR独有的大规模并行、高度虚拟化的InServ全网状体系架构,利用多个SSD条带化并发IO的处理能力,整体存储系统仍然能获得较高的系统性能。
这里我们就需要研究一下3PAR的InSpire全网状体系架构。3PAR的存储控制器设计为网状连接方式,每个控制器之间高速直连,中端的存储产品InServ F支持4个,高端的InServ T支持8个控制器的网状连接。每个控制器都呈激活状态,且工作负载均衡分配,可共享访问缓存、前/后端I/O以及磁盘,提升存储系统访问性能。
图为3PAR控制器的全网状连接方式(8节点的高端T系列控制器架构),每个控制器分别有七条链路与其他控制器链接,相互通讯并可动态均衡负载。高端T系列支持8个控制器节点,中端F系列支持4个控制器节点。HDS 架构采用全光纤交换方式(Universal Star Network),EMC早期的DMX系列采用的是直连矩阵架构,2009年年初发布的v-max虚拟矩阵架构实际上和3PAR的架构非常接近,已经放弃了直连矩阵架构
因为是全网状的,所以基本上一个链路坏掉只影响直连的两个节点的通信,对其它节点无影响。每个控制器节点内置一块硬盘,用于操作系统安装。控制器节点最多可以扩展到 8 个,是3PAR存储最核心的组件。相比之下,HDS 架构采用全光线交换方式(Universal Star Network),而 EMC 2009年年初发布的v-max虚拟矩阵架构实际上和3PAR的架构非常接近。
除了控制器方面的设计外,3PAR还针对不同的I/O指令和数据移动使用不同的计算芯片。I/O 指令(元数据/控制Cache)用 Intel芯片完成,数据移动/Cache则使用专门设计的 ASIC 芯片来完成。此外,还有专门的硬件ASIC芯片用于RAID 5 XOR校验,实现了业界最快的RAID5,即使在SATA 盘环境下也能有不错的性能表现。
硬件芯片加速IO指令和RAID运算
3PAR的操作系统叫 InForm,最初就是面向层次化的设计。与其他存储不同的是,3PAR后端所有的磁盘被分成256MB统一大小的小盘(Chunklet),可根据需要用多个Chunklet组成 RAIDlet(逻辑磁盘)。因为这个独特的设计方式,3PAR 是可以很容易做到不同容量的磁盘混用,即使在同一个RAID组里,也可以有不同大小、不同转速的磁盘混用。而且,所有的磁盘都可以利用,因为Hotspare Chunklet以更小的单位分散在不同的磁盘上,也不再需要单独留热备盘。空间利用率更加充分一些。
磁盘被划分为256MB的Chunklet,由Chunklet组成逻辑盘,逻辑盘再组成虚拟卷。即使在同一个RAID组里,也可以有不同大小、不同转速的磁盘混用
由于3PAR Inserv全网状交换架构拥有大规模并行、高度虚拟化的特性,当引入SSD硬盘后,SSD介质与3PAR体系架构相得益彰,从而获得较高的并发处理能力。因此,Craig认为Inserv全网状交换架构是提高SSD应用性能的第二驾马车。