存储 频道

大数据元年?Hadoop的中国崛起之路

  大数据火热 Hadoop在中国走俏

  在2012年年末,IT168与旗下ChinaUnix社区以及ITPUB社区共同发起了一项关于Hadoop在中国企业环境中部署情况的调查问卷。在通过对超过3000名的IT技术主管和技术工程师的调查问卷的结果进行分析后,我们发现,将近79%的企业用户已经部署或预计在未来一年内部署Hadoop或相关的大数据解决方案,其中已经部署了Hadoop的用户所占总体受访用户的比例为22%。

  在部署Hadoop后,最为普及的几项Hadoop技术分别HDFS、MapReduce以及Hbase,其所占的总体比例分别对应为20%、18%和14%。实际上,从调查结果上来看,用户对于大数据处理,尤其是开源技术Hadoop的热度非常的高,但是出于理性和成本方面的因素,企业用户部署Hadoop的规模总体来讲,并不算大(极个别除外),还处于起步阶段。

  当然,技术限制可能也是另外一方面,在此次调查中,尽管有93%的受调查者都表示对Hadoop的前景看好,但其目前也遭遇到不少的问题。例如22%的受调查者表示Hadoop目前没有商业化,服务难以保证,对Hadoop部署有一定的顾虑。另外,没有中文社区支持、技术学习难度较大和人才难找是面临的三个较大的问题。

  北京初志科技有限公司副总裁王超认为,尽管类似Hadoop等开源技术的成本很低,入门也比较容易,但真正要根据企业具体业务来进行二次开发的话,对于诸多企业用户而言,还是一个不小的挑战,而且目前也没有太成熟有效的方法。

  但值得庆幸的是,处于用户的需求,诸多厂商也看到这一市场的旺盛需求。例如英特尔在2012年年末发布了Hadoop 发行版2.0,针对英特尔平台进行了专门的优化,如使得在英特尔平台上实现Hadoop,比非英特尔发行版获得性能的成倍增长,其处理能力达到“接近于实时”的处理效果。此外,英特尔Hadoop manager 2.0简化Hadoop的部署与管理工作;此外,英特尔Hadoop发行版还针对中国市场的行业和应用特点做了更进一步的优化。

  英特尔Hadoop发行版2.0的发布受到诸多中国用户和厂商的欢迎。包括曙光、初志等国产存储厂商都透露出与英特尔共同合作开发的信号,以期望通过这种强强联手来为国产存储厂商带来新的商机。

  除此之外,其他一些国际化巨头也不例外,如在今年8月,IT168记者在对EMC Isilon技术总监杨峰先生的采访中,就暗示了Isilon与大数据处理结果的可能。其透露,目前Isilon已经与EMC的GreenPlum部门有共同合作推出一款针对大数据处理的解决方案。但至于具体的推向市场的时间,其并没有透露。

  不管是处于商业化的需要,还是因为用户的需求,实际上,在中国市场,Hadoop已经越来越成为大数据处理的代名词。尽管目前其还处于起始阶段,但其会慢慢壮大,这之中需要仅仅是时间而已。富士通公司市场营销/新业务开拓总部合作伙伴与联盟业务事业部邱弘总监认为,之前的企业用户就已经积累了一些数据处理的经验,例如BI系统、数据操控系统等等,这些实际上都是大数据处理的前身系统,用户已经体会到其直接带来的价值。

0
相关文章