【IT168 资讯】作为本年度最具看点的Hadoop压轴盛宴,2013 Hadoop中国技术峰会即将于11月22日-23日在北京福朋喜来登大酒店盛大开幕.大会集结了近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者,以及从事Hadoop研究与推广的IT厂商和技术专家,届时将分享Hadoop相关的热点话题。
IDC预测,中国未来几年,会有越来越多的企业级用户试水大数据平台和应用,而Hadoop被看成大数据分析的“神器”,将成为最耀眼的“明星”。Hadoop相关的数据应用遍地开花,在各行各业做得风生水起。仅以互联网为例,目前京东、淘宝、腾讯、百度、Amazon、一淘、人人、优酷、搜狐、搜狗、暴风影音、Ebay、乐视、PPTV、小米等IT企业都亲自操刀,利用Hadoop 大干一场。 正所谓时势造英雄,大数据时代是一个英雄辈出的时代,十名Committer齐聚京城,届时Hadoop行业英雄谱将唱响2013 Hadoop中国技术峰会的现场。我们为大家爆料了五个颇具代表的Hadoop行业案例,为您分享2013 Hadoop中国技术峰会的精彩内容。大会官网:http://www.chinahadoop.com/
Hortonworks 再续前缘: Hadoop 2.0 强势来袭
俗话说得好,“聪明绝顶!”2013 Hadoop中国技术峰会特邀的这位光头老外就是大名鼎鼎的Hortonworks公司的亚太技术总监Jeff Markham。大数据分析服务公司Hortonworks乃名门雅虎之后,它与雅虎联手贡献了Hadoop主干项目80%以上的源码。此外,Hortonworks公司还被认为是 Hadoop 2.0、Apache Hadoop Yarn的主要贡献者。

在本次2013 Hadoop中国技术峰会中,Jeff演讲的重要主题之一是Hadoop2——Yarn。谈到YARN的诞生,Jeff表示,旧版MapReduce的JobTracker/TaskTracker机制需要通过大规模的调整来修复它在可扩展性、内存消耗、线程模型、可靠性和性能方面的缺陷。Hortonworks在着手构建Hadoop2.0时,希望从根本上重新设计Hadoop的架构,从而达到可以在Hadoop上运行多个应用程序并处理相关数据集的目的。这样一来,多种类型的应用程序都可以高效、可控地运行在同一个集群上。这是以Hadoop 2.0为基础的Apache YARN之所以能够诞生的真正原因。
京东在电商行业的淘金利器 :利用Hadoop在大数据领域大展拳脚
也许Jeff错过了中国网购的“龙卷风”,相信他还来不及体验中国的双十一有多么地疯狂。不过没关系,如果您有机会参加2013 Hadoop中国技术峰会,不妨晒晒双十一那些可圈可点的网购吸金数字,160万个文胸高过3个珠穆朗玛峰,9小时销售的纸尿裤可以吸干6个西湖。相信精明的他会利用这个机会找京东的人推销一下YARN。
互联网行业,谁掌握了用户数据,谁就有资本赚钱。以低价、正品行货而跻身电商巨头行业的电商京东吸引了大批的粉丝,十年来积累了上亿个宝贵价值的用户数据。传统公司如银行、保险机构、电信企业等,它们的数据大多都是结构化的;而互联网公司像百度、腾讯等企业的数据,多来源于网络评论、用户日志等,这些数据是非结构化或半结构化的。京东之类的电商企业的数据处于二者之间:从用户下单到仓储分拣,再到配送,整个交易链条上的数据是结构化的;而用户的网站浏览行为、购买评价等各种数据是非结构化的。京东需要做的是将结构化和非结构化的数据巧妙的融合起来,从而实现客户洞察、用户定位、风险评估等一系列与大数据有关的分析和决策行为。
在电商淘金热潮中,大数据已经成为了京东所向披靡的竞争利器。如何利用大数据来挖掘这十年积累的数据,为企业提供决策支持,支持京东更好更大的发展,是摆在京东Hadoop团队面前的核心难题。为此,2013 Hadoop中国技术峰会同时邀请了3位资深京东Hadoop技术专家,从各个维度深入剖析京东的大数据Hadoop应用,包括营销体系、广告推放、仓储调拨、销售预测,物流配送等。举个例子,用户没有来的时候有货,这并不表明用户来的时候一定会有货。京东需要对用户访问量和商品数据进行分析,整合出一个较为准确的现货率,实时提供给采购部门备货,从而优化用户体验。
如何在合适的时间向目标客户推送正确的内容?几乎所有的电商企业都会基于用户的购买行为做精准营销。京东也不例外,每天都会产生几亿的PV,但其先进的Hadoop的数据分析手段盖过了简单的E-mail与短信势头。京东依靠大数据对用户建模,进行正确的画像分析、定位模型。简单来讲,京东利用Hadoop对对用户海量评论和搜索日志的分析和挖掘,包括性别、年龄、是否有房有车等多个维度,制定大数据分析模型,从而判断用户是购买冲动型还是目标明确性,理解用户的购买意图,然后根据不同用户属性推荐不同的商品,从而提升用户体验,给用户带来了更多的价值。