存储 频道

对象存储不给高性能计算添堵

  5.网络连接

  网络连接是对象存储系统的重要组成部分。它将客户端、MDS和OSD连接起来,构成了一个完整的系统。网络技术的不断进步使网络连接的方式有了更多选择。千兆以太网具有性能高、性价比高、易于管理等优点,因此成了构建对象存储系统的首选。随着光纤通道技术的成熟及成本的降低,应用也越来越广泛。此外,各种新的网络技术也不断出现,如Myrinet、Infiniband等,都具有较高的性能。尤其是Infiniband,不断扩展的性能使其具有很强的竞争力。

  对象存储的特性

  OSD的结构特性使其在处理高性能计算环境中的存储请求时具有较大优势,主要体现在以下几方面。

  ● 性能优势。存储体系结构的最大竞争力在于存储性能。对象存储由于其存储设备的智能化以及访问的并行化,可以最大限度地利用网络的带宽,提高应用的存储能力。

  ● 存储设备的智能化。Object的自我管理功能大大增强了存储设备的智能化,降低了整个系统的管理负担,使其更高效。

  ● 数据的共享更容易。在对象存储系统中,任何客户端都可以通过访问提供的标准文件接口,访问存储设备上的数据,其Cache策略保证了客户端访问数据的一致性,使得文件级的数据共享更容易。

  ● 管理更方便。OSD的自我管理减少了系统管理员的工作量,提高了管理质量。管理员只需要关注存储系统的逻辑视图,不需要知道设备的细节。此外,OSD的智能化使其可对应用访问模式进行统计,并根据统计结果更有效地组织Object,提高设备的空间利用效率和访问效率。

  ● 更好的安全性。同块设备不同,Object可利用自身的属性对用户访问进行验证,只有通过验证的请求才能执行。

  相关链接

  对象存储实例

  对象存储的标准最初来自于卡内基梅隆大学(Carnegie Mellon University,CMU)并行数据实验室(Parallel Data Lab,PDL)1995年到1999年的“Network Attached Secure Disks”(NASD)项目。该项目的目标是“使用商业存储设备构建高带宽、低延迟、安全、可扩展的存储系统”。1997年,CMU在美国存储工业联盟(National Storage Industry Consortium)发起一个工作组。该组织包括了惠普、IBM、希捷、StorageTek以及昆腾等厂商。该工作组在CMU的NASD研究基础上,于1999年成立了全球网络存储工业协会(Sotrage Networking Industry Association,SNIA)的对象存储设备(Object Storage Device)工作组,发布了ANSI的X3 T10标准。从此以后,SNIA的OSD工作组促进了对象存储设备接口的变革,众多厂商纷纷在其实验室中开展了对该技术的研究。尽管OSD的标准正在制定中,但是一些厂商已经开始了对象存储设备的生产,如IBM将在其StorageTank中使用对象存储技术,BlueArc、Data Direct也开始生产使用对象存储接口的设备。

  存储的智能化也是学术研究的热点。CMU的PDL在继续研究self-存储,其中包括self-managing、self-configuring、self-organizing、self-tuning、self-healing。这种存储的self-特性代表了存储的智能化,操作系统可以利用这些特性获取更好的存储性能。威斯康星大学的研究人员采用了另外一种方式,试图分析智能磁盘系统的语义,学习文件系统的数据结构。

  在CMU NASD项目的基础上,诞生了两个基于对象存储设备的分布式文件系统Lustre和Panasas。两个项目的创始人Peter J.Braam和Garth Gibson都曾经参与该项目。

  Lustre

  Lustre是一个开放源码的、基于对象存储的高性能分布式文件系统,由Cluster File System(CFS)公司研发,已经开放的版本为1.2.4,在其官方网站可以自由下载。美国的三大实验室(Los Alamos、Lawrence Livermore、Sandia National Laboratories)都部署了该系统。Lustre运行在商业设备上,使用基于对象的磁盘(Object-based Disks,OBD)存储数据,元数据服务器(MDS)为整个文件系统提供元数据服务。Lustre由三个部分组成,即客户端、MDS和OST(Object Storage Ttarget)。其中,OST负责管理保存在OBD上的数据,并为客户端的访问提供数据服务,MDS为客户端提供元数据服务和分布式锁服务。对于客户端而言,Lustre是一个透明的文件系统,无需知道具体数据所在的位置,可以透明地访问整个文件系统中的数据。客户端同OST进行文件数据的交互,包括文件数据的读写、对象属性的改变等;同MDS进行元数据的交互,包括目录管理、命名空间管理等。三个组成部分除了各自的独特功能以外,相互之间共享诸如锁、请求处理、消息传递等模块。Lustre是一个高度模块化的系统,三个组成部分可以在一个节点上工作,也可以在不同的节点上工作。

  Panasas

  同Lustre一样,Panasas也是一个对象存储系统,应用于大规模的Linux集群环境。该系统由OSD、Panasas文件系统和MDS组成。数据保存在OSD上,每个OSD由两个SATA驱动器组成。Panasas文件系统运行在客户端上,为应用程序提供文件系统接口,将应用程序的文件请求发送给MDS和OSD,并将MDS和OSD返回的数据交给应用程序。Panasas文件系统在客户端将需要写到OSD的数据进行RAID分带,将包括校验数据在内的所有分带分别写入各个OSD,从而使数据的存储更可靠。Panasas的MDS也为文件系统提供了元数据访问、文件和目录访问管理,以及客户端上数据的Cache一致性。

0
相关文章