登录 / 注册
IT168存储频道
IT168首页 > 存储 > 存储资讯 > 正文

对象存储添加Hadoop、OpenStack插件

2013-03-18 11:06    比特网 来源:比特网  作者: 比特网 编辑: 李隽

  【IT168 资讯】对象存储初创公司Scality将其存储添加到Hadoop,使用户可避免通过Hadoop自己的文件系统加载数据。他们还推出了一款针对Cinder——在OpenStack项目里面的块存储层的插件。

  RING是基于一组X86服务器节点的对象存储基础架构,存储对象而不是文件或块,而且可以并行操作。

  Scality提供的一个被称为“生产级Hadoop存储实施”使用了CDMI——由SNIA开发和推广的面向云计算数据管理的云存储标准。CDMI开始缓慢被供应商支持但处于回升的步伐。

  Scality已经使用自己的元数据架构替换了Hadoop命名节点(Name Node)服务器,从而消除了Hadoop架构中的单点故障。该公司表示,其Hadoop实现可以在存储节点自身上面适当的处理、计算,并通过与作业跟踪共享数据位置显著地降低了数据传输的需求。

  Scality表示,其RING的擦除编码意味着省去了由于复制产生的任何Hadoop硬件开销。另外“用户可以通过一个标准的文件系统写入和读取文件,并在相同的时间用Hadoop处理过程,而不需要通过HDFS(Hadoop分布式文件系统)加载文件”。

  Scality公司首席执行官Jerome Lecat说:“我们已经贡献我们的Hadoop解决方案到CDMI社区,确保它可以与任何的CDMI兼容存储一起使用。...我们的CDMI框架(framework)可以直接从我们的向外扩展(scale-out)文件系统读取数据,没有必要在执行一个MapReduce作业之前做HDFS获取。“

  Scality的产品兼容、并且已经与Hortonworks HDP 1.0和Cloudera CDH4测试过——没有显现出Scality正在寻求替代或者与现有的Hadoop发行版竞争。通过添加一个RING后端,在某种程度上,Scality表示它提供了一个更具成本效益、更容易使用、更有弹性和更高性能的Hadoop基??础设施,同时用户从Scality的SOFS(Scale-Out文件系统)中受益。

  Lecat表示:“我们的角度是,我们认为人们想要做到在“普通”的数据上进行Hadoop工作,不只是他们特别为Hadoop准备的(数据)。在我的印象中,这对于Hadoop是非常有价值的,但它被事实扼杀了,人们需要在任何MapReduce作业之前做一个HDFS摄取。由于我们不再需要这样了。”

  一个含义是这样的,Lecat说:“试想一下,如果你现在使用MapReduce你可以做什么——这是工作在存储节点上的——去做数据转换,如新的编码,作为一个新的版本得出结果,这节省了大量的处理时间。它在以前需要将数据从存储移动到服务器,进行转换然后写回存储。”

对象存储添加Hadoop、OpenStack插件

  OpenStack对象存储

  OpenStack是一个云或基础设施即服务(IaaS),基于免费的、开放源码的软件来控制在数据中心里的计算,存储和网络资源池,用户通过一个门户自助分配,而管理人员通过仪表盘(dashboard)管理整个群。Rackspace和许多其他供应商都积极和大声支持OpenStack。现在Scality也来凑热闹。

  Cinder是对在OpenStack中的一个块存储层的代码名称,它使虚拟机(VM)发现和使用持久的块级卷,而Scality针对它提供了一个RING插件。Lecat表示:“这个贡献使OpenStack的采用者追赶上了亚马逊针对虚拟机的EBS持久卷。随着Grizzly(版本)释放,OpenStack计算将有一个存储伙伴,部署在有高需求的云计算环境,这将提高OpenStack在市场上的采用率。”

  Grizzly是OpenStack定于4月份发布的下一个版本。

  Scality并不孤单。Coraid公司也提供了ATA-over-以太网(AOE)和Coraid EtherCloud的驱动程序到OpenStack的Cinder块存储开源项目,所以OpenStackers可以使用其存储阵列作为块存储。全闪存“云”存储阵列初创厂商SolidFire做了同样的事情,它现在已经参与了Cinder项目好几年。Coraid声称,传统的存储供应商如NetApp、EMC、惠普和戴尔等在他们的OpenStack驱动程序中只完成了部分功能,而他们已经作为一个企业赞助商加入OpenStack社区。

  针对OpenStack的RING通过向外扩展文件系统(SOFS)封装提供了一个POSIX文件接口。Scality叙述道:

  Cinder整合是建立在Scality的 … 嵌入在SOFS中分布式的稀疏文件技术。每个Cinder卷实际上是在Scality Scale-Out存储里面的一个文件。这确保了简便的管理、无缝的可扩展性,并提供了像在计算节点硬件故障的情况下,实时迁移虚拟机和即时故障转移这样的先进虚拟化功能。

  Scality的产品战略总监Philippe Nicolas表示:“这个块存储接口完成了我们的统一存储战略。Scality是实际交付承诺的真实和完整的统一存储访问,包括对象、文件和块的第一批厂商之一。”

  Scality的Cinder整合将在OpenStack的Grizzly发布时可用。

关键字: Scality
  • IT168企业级IT168企业级
  • IT168文库IT168文库

扫一扫关注

行车视线文章推荐
首页 评论 返回顶部