存储 频道

海量非结构化数据成难题:2010用户趋势

  【IT168 专稿】行至2010年岁末,各种新闻事件充斥我们的眼球:韩朝对峙的炮声仿佛回荡在我们的耳边;上海胶州公寓大火的逝者也仍然被我们铭记;iPAD与iPhone4的发售引发了空前的抢购热潮;芙蓉JJ已经瘦到100斤并获得“互联网特殊贡献奖”,凤姐也去了美国……在这一系列互联网热点新闻事件的背景下,我们还将面对通货膨胀物价上涨的压力,和一个号称是“千年极寒”的严冬……

  一年的时间在我们的社会生活中仅仅只能算沧海一粟,但对技术创新极其活跃的存储产业来说,却足以给未来带来影响深远的改变……为便于广大网友了解存储领域技术创新的路线图以及未来趋势,IT168推出了“年终盘点及新年展望”的系列报道,通过回顾存储领域一年中的重点产品与事件,总结今年的热点技术以及产品,勾勒出存储技术进化的基本脉络,进而描绘产品创新的未来趋势。

  2010年厂商仍然在跑马圈地,用户却相当淡定,在实际应用过程中,用户遇到了哪些难点?在用户的眼里,哪些新技术值得投入,哪些新技术还需要进一步成熟呢?我们看看用户怎么说。

  中影动漫基地:NAS集群解决视频编辑存储难题

  “为了更好地完成高品质影院动画公共技术服务平台的建设和运行,经过一年多的酝酿,中影动漫基地从2009 年开始独立运作。现在,我们的动漫影片制作业务已经排到了2012年。”中影集团电影数字制作基地有限公司北京影院动画制作分公司(以下简称中影动画)总经理雷振宇介绍说。

  动漫影片的制作离不开IT设备。为满足制作的需要,中影动画不断对现有的IT设备进行升级,同时进行系统的整合,目的是逐步提高工作效率。“为进一步提升系统的数据处理能力,我们将网络中的IP 核心交换机与分支交换机统一升级为万兆接口模块。与原来使用的多个千兆交换机堆叠的方案相比,以万兆交换机为核心的网络的性能得到了大幅提升。网络不再是系统性能的瓶颈所在。”中影动画技术部的刘刚介绍说,“随着网络性能的逐步提高,后端存储系统承载的数据处理压力越来越大。存储系统的性能如何与网络的性能相匹配是我们重点要考虑的问题。”

  点评:中影动漫遇到的问题非常典型,遭遇的是典型的非结构化数据存储与管理难题。为解决视频编辑需要的文件传输的大量带宽,中影动漫率先升级到了10Gb以太网,并结合集群NAS构建整体方案,在非结构化数据的管理和存储上有相当的优势,

  淘宝网:分享自主研发与商业系统的成本效益

  对淘宝网来说,图片的访问流量压力非常大。整个淘宝网流量中,图片的访问流量会占到90%以上,而主站的网页则占到不到10%。淘宝网图片存储系统容量1800TB(1.8PB),已经占用空间990TB(约1PB)。保存的图片文件数量达到286亿多个,这些图片文件包括根据原图生成的缩略图。平均图片大小是17.45K;8K以下图片占图片数总量的61%,占存储容量的11%。

  LVS创始人,淘宝网技术委员会主席,淘宝网核心工程师章文嵩先生介绍:淘宝网之前一直应用NetApp公司的文件存储系统。随着图片文件数量以每年2倍(即原来3倍)的速度增长,后端系统也从低端到高端不断迁移,直至2006年,即使是NetApp公司最高端的产品也不能满足淘宝网存储的要求。最终淘宝决定自行开发一套分布式文件系统TFS用于解决海量图片的存储难题,最大的特点就是将一部分元数据隐藏到图片的保存文件名上,大大简化了元数据,消除了管理节点对整体系统性能的制约,这一理念和目前业界流行的“对象存储”较为类似。

  点评:淘宝网遭遇的问题同样是海量非结构化数据的难题,传统我们对海量数据的理解是文件容量非常大,但其实,这种理解并不全面,海量文件的另外一个含义是文件非常多。大量的小文件读写问题,涉及到硬盘频繁的寻址和换道,无异于系统的噩梦。在商业化系统无法满足需求的情况下,淘宝网选择了自己开发,能更好的满足自己的业务需求,但对于更多的企业来说,选购商业化系统可能仍然是首选的方案。

  辽宁移动:应用SSD提高数据访问性能

  辽宁移动非常重视客户感知,提高客户满意度。例如话费详单查询,让客户在最短的时间查到自己的话费记录,这样一个看似很小的改进,却可以大大提高客户感知。辽宁移动业务支撑中心系统维护建设室主任王欣曾经尝试加大高速缓存的容量,但效果并不明显。最终,辽宁移动在其EMC Symmetrix DMX-4系统中配备了9块146G固态硬盘采用“7+1+1”的方式部署,一块盘做热备盘,其它8个盘采用RAID5“7+1”的方式配置。大大提高了客户话费详单查询的性能和速度。

  王欣认为,SSD技术在电信行业有很大的发展空间。以中国移动为例,各个省公司都会有一些热点数据,导致系统瓶颈,用少量固态硬盘就可以解决热点数据的瓶颈问题,投资很值得。如果不采用固态硬盘,而是按传统的方式提高性能,需要购买更多的光纤通道磁盘,还要使用RAID 0+1的方式,能否达到固态硬盘这样的性能还不一定。

  点评:与传统磁盘相比,固态硬盘(SSD)没有机械旋转部件,因而寻道时间更快,IOPS达到2500以上,延迟小于1ms,在性能上具有绝对优势。同时SSD消除了传统磁盘的机械磁头,因此更加绿色节能。在企业级应用中有良好前景。辽宁移动率先尝试应用SSD来改善系统性能,对于诸多追求高性能的企业拥有极其宝贵的借鉴意义。

  中石化工程建设公司备份系统改造经验谈

     中石化工程建设公司简称SEI,是以工程设计为主的公司,改造之前的系统环境共有100台服务器左右,里面主要包括数据库应用、邮件服务器以及一些专业的应用服务器。这些机器都通过现有的系统进行数据备份,改造之前的备份数据量去年大概是做一次全备的数据量为6TB,每天的数据变化量有500GB。使用两台STK的M180带库,两个带库的总数据槽位是258。

  随着数据量增加,这套备份系统开始出现瓶颈:备份窗口长,故障率高,并且缺乏容灾方面的规划。中石化工程建设公司的许先生表示:我们是一个设计型公司,根据不同项目会有很多的图纸型文件,整个过程需要消耗时间非常大。

  SEI在备份系统中增加了一台虚拟带库,把原来的D2T变成了D2D2T,很大程度上提高了备份性能,另外,又构建了一个容灾机房,部署了另外一台VTL,进行备份数据级别的容灾和复制功能。许先生谈到,改造完之后系统较原来有了显著的性能提升,减少了物理机械故障。同时我们能够使用一套平台来实现对整个备份系统进行管理和监控,减少了管理难度,同时提升管理效率。

     点评:备份窗口问题在很多企业都存在,尤其应用传统磁带的情况下,采用虚拟带库,实现D2D2T能够非常有效的提高备份性能。

0
相关文章