存储 频道

IBM GPFS穿新装 SoNAS七剑驾驭PB级数据

  【IT168 专稿】如果我们看2-3年前的集群存储市场,会发现这个领域存在许多的独立的存储集群厂商,近年来,这些厂商却先后投入了综合大型厂商的怀抱,例如Dell先后收购了Equallogic和Exanet,HP收购了Ibrix,LSI收购了Onstor,IBM也在2年前收购了XIV。如今,集群存储市场上数得出来的独立厂商似乎仅有Panasas、Isilon和Bluearc三家了。

  总体来说,集群存储市场已经从小的独立厂商时代转向了大厂商竞争时代,IBM、HP、Dell等大型综合存储方案厂商的加入,一方面是看到了非结构化数据爆炸式增长带来的市场规模扩张,另一方面,也使得集群存储领域的竞争进一步加剧。

  作为综合存储方案供应商,IBM在集群存储方面同样有自己的策略。在SAN集群方面,IBM收购了XIV,经过有效的整合后,XIV已经成为IBM高端存储产品线的有力补充,在针对非结构化数据的Scale out NAS市场,IBM则将一套由来已久的分布式文件系统方案GPFS重新包装,推出了NAS集群产品SoNAS。

  GPFS穿新衣推SoNAS集群存储

  GPFS本身是IBM自主研发的一套分布式文件系统,主要应用于高性能计算系统环境中,为了应付PB级的文件扫描和搜索而设计,在存储处理性能方面有非常高效的算法。现在可管理的存储空间达到14PB,文件数量达到2亿个,最大单文件支持4TB。可实现全面的文件虚拟化管理,并支持自动分层、自动切换、自动精简配置等等。

 GPFS穿新衣推SoNAS集群存储
IBM系统与科技部大中华区存储产品经理金微先生

  GPFS分布式文件系统已经有了10多年历史,伴随着IBM高性能计算的发展日益成熟,IBM在此基础上,也开发了相当全面和完善的解决方案进行销售。但是IBM存储产品经理金微指出:针对GPFS的软件销售模式涉及到大量的性能调优服务,销售周期长,且需要用户自身对存储相关技术领域有深厚的基础,实际上只适合用户数量较少且本身比较专业的情况,无法形成规模性销售和盈利。

  随着全球非结构化数据的爆炸式增长,用户对集群NAS的需求已经从高性能计算市场扩展到了更为广泛的企业用户市场,IBM以GPFS为核心,以X86平台为硬件基础,推出硬件版本的集群NAS产品,在市场上的销售型号为SoNAS。

 GPFS穿新衣推SoNAS集群存储
IBM SoNASSoNAS以GPFS为核心,聚合高性能硬件,实现Scale out体系架构,拥有全局文件命名空间,并整合TSM全面数据管理功能,实现ILM等管理功能

  金微介绍:SoNAS本身是将GPFS分布式文件系统集成到X86的集群节点上,对外提供一个很简单的标准文件共享的接口,例如SRS或者FTP,用户可以通过协议访问SoNAS系统里面的数据。并且购买后,并不需要过多的性能调优工作,实际上以标准化产品代替了定制的软件解决方案,简化了销售流程,使规模化销售和应用成为可能,能够满足更大规模的用户需求。

  SoNAS帮助用户在文件访问层面实现了云存储的服务要求,也就是说,终端用户现在不用关心底层到底要登录到哪一台文件服务器,或者是NAS上访问什么数据,只需要在统一的树状目录结构下寻找所需要的文件就可以了,甚至不用关心这个文件到底存在这个机房还是十几公里以外的另一个机房,在文件层面上实现了全面的虚拟化管理。

  SoNAS七剑横扫海量文件数据

  谈到SoNAS的海量文件存储管理方面的特点,金微总结有七大优势:包括为云存储环境设计的高并发的硬件体系结构;整体系统的超高性能,实测吞吐率最高66GB/s;高达14.4PB裸容量的海量存储空间;基于Scale out架构的极强扩展能力;全局命名空间实现的全面虚拟化管理;基于策略的信息生命周期管理功能;以及继承于GPFS 13年发展历史带来的丰富案例和稳定成熟的可靠性。

 SoNAS七剑横扫海量文件数据
IBM总结SoNAS集群存储七大优势

  从体系架构上说,GPFS从软件转化成硬件SoNAS集群存储解决方案后,所有数据的交换核心是Infinband交换机,内部包括三个类型的处理节点,包括Interface Node、Storage Node和Management Node,在Storage Node下面带有磁盘阵列柜,并通过磁盘阵列柜的阵列内RAID保护实现冗余机制,保护数据安全。

  Interface Node、Storage node及Management Node本身都基于X86服务器架构,Interface Node互为集群,可从2个扩展至30个(最少2个,因为要互为集群)。Interface node接到数据读取的请求后,通过Infinband交换机发送给Storage Node,Storage Node下方则管理磁盘阵列柜。

 SoNAS七剑横扫海量文件数据
IBM SoNAS系统结构示意

  整体系统构成一个高并发的结构,并可灵活调配资源。如果文件访问要求压力很大,可获得更多的Interface node资源;如果需要存取的数据量非常大,可以在内部获得更多的Storage Node,能够根据容量和工作负荷要求可以按需调整并灵活扩展。

  每个磁盘阵列柜包括大约60块高密度磁盘,目前支持SAS和SATA磁盘,未来还将提供SSD硬盘支持。磁盘阵列柜带RAID功能,数据在磁盘阵列柜层面得到冗余和保护。最大整体系统支持到7200块盘,11000TB总容量。

  内部的数据交换通过Infinband交换机实现,可支持36或者96端口。对外则通过IP网络通信,向Windows、Unix或者Linux提供基于文件或者http方式的存储、访问以及共享。支持千兆和万兆以太网端口。

  此外,SoNAS通过Tivoli Storage Manager(TSM)提供了快照功能、分层存储和HSM以及异地复制功能。

  首先,基于GPFS文件系统的全局命名空间能够大大的简化用户对PB级海量文件存储管理。对于用户来说,当非结构化数据量及其庞大,不得不购买过多的NAS存储时,往往会面临管理复杂的问题。全局命名空间允许所有的文件在一个大的树状目录下进行统一的管理和保存,用户查找和访问文件都变得清晰方便,而不必理会在物理底层,这些文件究竟保存在哪个存储节点上。

 SoNAS七剑横扫海量文件数据
SoNAS全局命名空间文件管理功能示意

  SoNAS通过定期扫描完成文件自动分层存储,系统发出扫描的指令来查看文件属性,根据文件属性判断该保存的物理位置,是否需要迁移等等。此外,扫描的同时也会检查件是否完好,有没有被破坏的地方,是否需要修复等等。在实际的扫描过程中,只要没有工作负荷的节点都将参与文件扫描,汇总扫描的结果给管理节点,并在扫描结束后自动进行数据迁移,数据迁移通过后台的Infiniband交换机完成,对前端业务没有任何影响。

 SoNAS七剑横扫海量文件数据
通过高速扫描文件状态与属性实现信息生命周期管理策略

 SoNAS七剑横扫海量文件数据
远程数据复制功能示意

  此外,SoNAS还能实现三地数据复制功能。对于存在分支机构的客户来说,往往会存在2-3个异地的数据中心,通过SoNAS系统可以方便的建立起远程的保护和访问。SoNAS系统在远程传送和读取的时候,和传统NAS的远程镜像稍有不同,首先在本地查询检索,如果本地能得到满足,则直接从本地读取。只有本地无法找到的数据才会从远程调取,从而减少从远程调取数据的网络压力。

0
相关文章