存储 频道

四大专家案例剖析互联网存储架构

  【IT168 专稿】8月28-29日,由澳信传媒旗下IT168、ITPUB社区以及ChinaUnix联合举办的2009年系统架构师大会在北京举行。在29日下午举办的存储分论坛上,乐视网首席技术官杨永强先生与大家分享了分布式存储网络在视频网站中的应用;F5公司北方区技术经理杨明飞先生介绍了F5公司文件虚拟化解决方案;资深系统架构师田逸为大家介绍了自己在Moosefs分布式文件系统方面的应用实践;最后,51.com数据库主管徐景春也展示了51.com应用Mysql数据库进行在线灾备的实践分析案例。支付宝网站首席架构师冯大辉先生为本次存储专场担任主持人。


存储分论坛现场

  分布式存储满足视频网站点播需求

  乐视网首席技术官杨永强先生介绍到,乐视网是成立较早的视频点播网站之一。从网站成立发展至今,乐视网的存储架构设计也几经变迁。

  从视频网站的建设需求来说,视频点播网站需求的最大特点是数据量大。首先,视频网站涉及的数据都是视频文件型数据,这类视频文件相比word文档和图片文件文件大小不在同一个数量级上。而高清视频的普及,使得单个文件大小级别进一步提高。同时,由于视频摄录设备日益普及,越来越多的人倾向于把自己日常生活中的片段上传到网上与大家分享,因此视频网站的文件数量增长也呈现快速的增长趋势。

  从传输方面的需求来说,不同于某些视频下载类网站,实时播放的视频网站要求较强的实时性,持续稳定的画面传输质量。


乐视网首席技术官杨永强先生

  最早乐视网采用的是集中DAS的存储架构,很快这种集中的DAS架构的局限性就暴露出来,首先是扩展不方便,由于视频网站涉及的文件比较大,增长速度也比较快,因此DAS首先在扩容性方面无法满足乐视网的访问需求。

  其次,由于视频文件存在不同的访问压力需求,例如某个片子在某一段时间内很有可能出现集中的访问需求,而DAS的架构无法实现压力的负载均衡,因此,在访问流量均衡上也无法满足视频网站的访问需求。

  乐视网改进的第二阶段存储架构是采用了NAS的存储架构,但很快乐视网发现NAS的前端主机带宽有限,整体存储系统运行效率低下,这段时间,乐视网遭到了很多用户投诉,为此,乐视网决定再次更换后台存储架构设计。

  在乐视网存储后台架构的演变过程中,乐视网也曾经考虑过SAN网络存储架构,但是经过考察后,乐视网认为SAN的架构成本高昂,在当时乐视网考察的时期,每TB成本达到8万元,而乐视网需要在全国十多个城市的IDC机房布置提供视频点播服务的数据中心,这个成本对乐视网来说耗资巨大。

  最终,乐视网选择了分布式网络存储架构。后台的基础架构仍然采用成熟稳定的DAS直连存储架构,多个DAS直连存储架构分散在全国十多个城市的IDC机房中,但是在DAS与DAS的基础架构之上,在应用层,乐视网自己开发了一套流量控制与管理软件,实现多个DAS节点之间的冗余、迁移与流量均衡。

  例如,用户如果上传一份视频文件,应用层的流量控制管理软件会自动的查询该用户上传的性能卓越的路径,并将路径分配给该用户进行视频上传,而这一过程对用户来说是完全透明的,用户完全不必知道自己究竟通过哪个节点路径在上传视频,也不必理会视频文档上传到了哪个存储节点上。与此同时,系统会自动的将用户上传的视频文件复制到三个不同的存储节点上,从而自动的保证了系统冗余。

  而当用户从乐视网上点播视频文件时,系统也会自动的查询该用户的视频点播记录,并选择历史记录中,点播的性能卓越的线路进行点播播放。换句话说,点播的路径分配未必严格按照最近的点播服务中心区分配。而乐视网在全国十多个城市均设有视频点播服务中心,已经覆盖到全国范围内的大部分视频点播需求。

  同时杨永强还强调,每一份数据自第一次上传开始,系统就自动将这个视频文件分散保存在不同的三个视频节点上。而某个视频文件在某一阶段内,点播需求激增时,系统会自动的复制这个视频文件到访问需求较多的存储节点上,当点播需求下降后,系统会自动的删除不必要的副本,最终一个视频文件的副本只保留三个,对视频文件的冗余性已经有非常充分的保障。

  “可以这样说,我们每一个节点上的数据都并不是完整的,但所有的节点上的视频文件加到一起,是我们的完整数据,而且我们保存了所有文件的三个拷贝。而我们所有的系统都是我们乐视网通过自己的技术力量自主开发的。”谈到乐视网的技术支持力量,杨永强表现出极强的信心和自豪感。

0
相关文章