存储 频道

行业英雄谱唱响2013Hadoop中国技术峰会

  小米进军云服务行业:大力发展HBase技术

  如果说58是个神奇的网站,那么小米就是一个神奇的公司。对比一下,历经百年的老牌诺基亚加上全部专利的总资产才72亿,而成立不久的小米估值造就超过了100亿美元。 谈起小米,它的饥饿营销法在中国市场可谓如火如荼,就连苹果的黄牛都开始囤积小米了。相比于小米手机,小米大数据显得并不张扬,但这丝毫不影响它在大数据领域的实力。这不,HBase的总牵头人Michael Stack就专程来看看这个神奇的公司。要知道,小米云服务的大部分结构性数据都是采用HBase的延伸技术存储,小米提交了65项HBase的补丁,其中37项已经被并入HBase主代码树。而作为小米大数据团队而言,当然也不会错过中国最有价值的Hadoop技术盛宴——2013 Hadoop中国技术峰会这个平台,来为大家现场分享小米云服务是如何运用HBase相关技术的。

大数据在视频中的数字游戏

  大数据在视频中的数字游戏:优酷土豆利用Hadoop挖掘数据中的价值

  视频似乎是看不完的,看完一个视频,会有一个又一个的相关的视频推荐,视频行业俨然成为了大数据时代的先锋。优酷土豆作为一家耳熟能详的大型视频网站,拥有海量的视频文件。有这样一种技术,亚马逊和谷歌都在用,亚马逊会告诉你“买了A商品的顾客也同时购买了B商品”,Youtube上,一个视频播放结束,马上就会出现相关推荐视频。同样,优酷也就靠着这种基于Hadoop的“协同过滤推荐”的技术给用户推荐他们喜欢看的视频。

  正所谓燕雀安知鸿鹄之志哉?当然,优酷土豆并不满足于把数据的挖掘分析只用在简单的推荐视频上,优酷土豆希望能够在行业内树立一个标杆,作为它的拳头性平台化战略产品“中国网络视频指数”更是成为了大数据时代的弄潮儿。

  优酷土豆拥有海量的数据,仅运营数据,目前每天收集到的网站各类访问日志总量已经达到TB级,经分析及压缩处理后留存下来的历史运营数据已达数百TB,很快将飙升到 PB级,5年后数据量将会突破几十PB级。如何更好地处理和分析这些海量数据?如何在海量数据中掘金?这将成为优酷土豆值得花力气研究的事情。

  在本届2013 Hadoop中国技术峰会中,来自优酷土豆的Hadoop技术专家将现场剖析Hadoop在广告、网站、无线、搜索等方面的应用。在优酷土豆平台上,每当用户点击播放视频时,优酷土豆都会对页面浏览、评论收藏、视频播放以及播放时的各种操作进行了记录。这些数据经处理后的分析结果会反馈给不同相关业务模块用作参考,来自产品、内容运营、用户的个性化推荐及广告投放等业务部门都会受益匪浅。

  内容方面,优酷土豆通过对用户网络情况进行数据统计:比如每次播放是否发生了缓冲,平均下载速度是多少等,凭借对这些数据进行实时的统计和计算,获取每个地区每个运营商下用户的加载表现,以此来决定CDN节点的分布和分配策略,为不同地区、不同运营商的用户提供清晰流畅的视频服务。

  在推荐方面,优酷土豆通过对大量视频播放行为的分析,归纳不同时长、不同类型、不同内容的视频之间的相互关联,挖掘不同人群用户的同质化观看习惯,对每次用户的观看进行有针对性的后续推荐,并借助后续数据的分析,迭代地改善现有服务,为用户提供量身定制的推送服务。

大数据在视频中的数字游戏

0
相关文章