【IT168 专稿】网格计算是今年来IT业的热门词汇,在网格席卷一切的浪潮下,存储界所有的厂商都扬起了网格这面大旗,纷纷宣布了他们的网格计算愿景。
尽管厂商端关于网格的声音纷纷扰扰,用户端却始终雾里看花:网格无疑将彻底改变未来的IT环境,但是对于存储,网格给我们带来什么?网格存储如何与业务需求有机结合?如何规划一个有效的存储网格来满足快速变化的业务需求?目前,网格对于存储的应用状况在用户心目中始终缺乏清晰的认识,成为某种意义的盲点。
网格里的未来
“网格”(Grid)一词最早来源于人们熟悉的电力网(Power Grid)。意即不用管电从哪里来的,用就好了。
实际上网格是一种伴随着互联网技术而迅速发展起来的、专门针对复杂科学计算的新型计算模式。利用互联网将分散在不同地理位置的电脑连接在一起,组成一个虚拟的超级计算机,其中每一台参与计算的电脑都是一个“节点”,而整个计算则是由成千上万个“节点”组成的“一张网格”, 所以这种计算方式也被称作“网格计算”。
简而言之,网格是把整个网络整合成一台巨大的超级计算机,实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享。与虚拟化技术一样,网格计算技术将会对目前已得到广泛应用的各种主流存储技术造成深远的影响。
然而更为重要的是,网格计算技术和虚拟化技术的意义并不在于其自身,而在于它们将改变服务器和存储器市场的格局,在相互独立的设备之间搭建起沟通的桥梁,构筑一个和谐统一的操作环境。
目前尚处于萌芽时期的存储网格产品,看上去与同构集群系统颇有几分相似,但实际上只要网格技术发展到一定阶段,它就会实现“集合市面上一切主流的数据中心设备,搭建庞大的异构存储环境”的目标。
网格,让存储不同
存储网格使用光纤构建了一个完全虚拟化管理的存储环境。在这个虚拟的大的存储环境中,任何多个互连的自给自足的存储节点存储数据时,其数据都不必通过中央交换机就能与任何节点通信。每个存储节点包含自己的存储介质、微处理器、编制索引的能力以及管理层。
网格中的数据可以是任何格式的,可以存储在任何类型的存储系统上。在网格中可能有数百 PB 的数据,其中有很大的比例都是以文件形式存储的。同时,基于网格的存储设施每秒吞吐量通常都是以几百GB甚至TB,而非MB级别,这些网格存储的I/O将达到几百万到几十亿的IOPS。而提供如此巨大存储能力的系统却可以分布于不同的物理位置,虚拟出一个单一的、自主管理的存储设施。
Gartner的一位高级分析师指出:“电脑基础架构一旦开始完全虚拟化,网络化、处理能力、容量等等界限统统消失”。在新的存储形式下,用户甚至可以抛弃自己独立的存储设备,转而使用网格中的的存储资源,而且这一切都是按照实际的需要进行分配。
网格存储比起老一些的存储方法至少有三大优点:更高的容错与冗余度、在负载波动的情况下有更好的性能、以及更低的成本。同时,实施网格存储,也还有诸多问题需要解决:
第一,需要解决存储节点之间数据传数能力不足的问题。对于这个问题,iSCSI似乎提供了一个完美的解决方案。网格中的各个节点将散布在世界各地,使用光纤连接无疑将造成巨大的成本,而新一代的高速iSCSI的成熟则为网格存储的发展奠定了良好的基础,由于iSCSI天生适于远程传输,加上加上远程直接内存访问(RDMA)技术出现在TCP/IP和千兆以太网上,它可能会在将来的存储网格中起到重要作用。
第二,要解决各个存储节点的相互访问兼容性问题。网格的本质在于解决异构环境下的资源共享问题,因此统一标准的建立将成为网格的基础,同时虚拟化也将成为构建网格的先决条件,实际上,存储网格可以说是一个最大化的虚拟存储池。
第三,需要保障网格存储的数据安全性问题。由于要在全球网络上实现资源共享,系统将更复杂,数据安全将面对更多的挑战,为此可以预见适用于网格的数据加密技术将在网格世界中大行其道。
格子上的舞会
2002年8月,IBM 宣布投入数十亿美元研发网格计算技术,并在此后不久推出了智能积木(Collective Intelligent Bricks,简称CIB)的概念,也就是所谓的IceCube。它是一种全新的存储架构,使用简单存储“块”——每一块都包含一个微处理器、少量内存和磁盘驱动器、以及一套与相邻的存储块进行交流的电容耦合系统——以提供以PB为存储单位的数据存储系统。
令人惋惜的是,IBM目前仍无法找到一套行之有效的散热办法,因此,该套立方体模块叠加方案在问世之初,并没有造成应有的轰动。虽然IBM公司承诺将会继续不断地改进IceCube的设计方案,但是,目前并没有任何迹象表明该产品将有望在近期内问世。
相比之下,Spinnaker Networks在2002年推出的存储网格产品——SpinServer NAS服务器——的可行性似乎更高一些,它的设计原理实际上是将上百台小型设备的存储资源汇集在一起,整合成一台拥有超级性能的大型虚拟设备。当Spinnaker于2003年被NetApp所收购,该技术被整合到NETAPP的网格存储理念中。
NETAPP把存储网格分成了四个层级,存储网格的第一层是“分层存储”,简而言之是通过同时支持不同性价比的存储介质,使客户以最合适的成本满足其应用所需要的存储效能。第二层“集群层”即源自上面我们所提到的Spinnaker Networks提供的存储集群技术,可让用户管理独立的节点设备,包括在集群各节点之间自由转移数据以满足不断变化的需求。第三层“分离层”也被称为Global Name Space,它负责应用与物理设备之间的对话。第四层也就是“物理层”,它是指存储网格内的多种存储类型。
惠普对存储网格的研发可以追溯到2001年,其产品规划则延伸到2010年。惠普的网格技术核心是一个一个的智能单元(Smart Cell)。每个智能单元都是一个“计算机+存储”的模块,可与外界直接沟通。智能单元既是一个物理概念,又是一个逻辑概念。
这些智能单元允许用户根据需要廉价、方便地扩展架构中的智能单元,而每个智能单元可以满足特定的用户需求。它提供了一个完全集成的方式,通过这种方式,用户可以建构一个智能、灵活以及方便扩展的网格,该网格使用户根据需要向多个方向进行扩展(容量、性能以及弹性)。
另一位业界大亨EMC似乎意识到单人独舞的寂寞,转而寻求网格技术上的合作,2004年年底,EMC公司携手DELL、Intel和Oracle共同推出了兆级网格(MegaGrid)项目,该公司与戴尔(DELL),甲骨文(Oracle)和英特尔(Intel)联手打造“megagrids(兆级网格)”的网格概念。据EMC发言人表示,megagrids可以实现在同一时间在一个网络中提供资源用于解决单一问题的概念。他们称之为集群(clustering)。
这些厂商都在网格的舞台上演绎了不同的精彩,但它们之间存在一些共同点,比如说,都可支持多厂商设备组成的异构存储系统;可根据系统的性能需求或其它标准,在不同的设备之间智能地传输数据。
另外,日立数据系统公司(HDS)也匆匆加入这场网格的盛会,将它的TagmaStore通用存储平台打造成一种可替代“层次式”结构的分布式系统体系结构——peer-to-peer对等网络——的虚拟存储解决方案。
网格进行时
“网格计算技术正在悄无声息地席卷存储世界”的说法并不是空穴来风。用不了多久,单点解决方案将会逐渐淡出市场,取而代之的是“共生共存、相辅相承”的繁荣局面,来自于不同生产厂商的存储产品将会被整合到一个庞大的“虚拟”系统内,无论是从功能上还是管理上都是可以相互协调的。
未来的在这张虚拟化大网中,整个IT行业的架构和理念都将被彻底的颠覆,人们使用IT的方式也将发生巨大变化。我们已经看到,国际领先的存储厂商已经先行一步进入到网格的舞会中,并根据各自对于网格的理解推出了相关产品,然而这些产品如此的不成熟,让人毫不怀疑存储的网格时代还处于未来进行时。
在世界范围内已经有少量的军方科研机构应用了网格计算,同时,一个可喜的现象是网格技术已经在向民用市场渗透。民用市场关心的问题与政府和科研机构有很多不同,性价比是这些组织机构所关注的首要因素。不过我们相信未来技术的发展必向着管理越来越简单,价格越来越合理的方向发展。
国内也有一些质量很高的网格服务平台,例如基于Globus的HowU网格和中国科学院计算技术研究所VEGA的资源路由器。网格的发展必将带给企业远超从前的计算能力,并深刻改变网络的整体面貌。