存储 频道

幕后英雄:初志打破影视行业存储瓶颈

  【IT168 资讯】大家也许都还记得几年前热映的电影《天下无贼》,每当回想起来,我们都为演员们精湛的技艺和精彩的特效所折服。所有参与这部电影后期制作的中影工作人员同样也记忆犹新,但他们却是痛苦的经历。

  在影视后期制作中,特效镜头通常依赖于IT设备进行制作、合成和调色。通常,我们从互联网上下载的一部片长90分钟的电影可能也就几个G或者十几个G,但当把电影胶片用胶片记录仪转换成数字图片后,一张图片的大小就高达几十M。整部电影转换完之后,其大小在20TB到30TB之间。而所有的工作人员都将围绕这几十TB的内容进行特效制作,高I/O、多并发的操作给IT系统,尤其是存储系统带来了极大的挑战。

  由于档期很紧,在进行《天下无贼》的后期制作时,中影一共安排了五六十人进行后期制作,原本以为人多力量大,然而IT系统却不给力,根本无法满足五六十人同时操作。没办法,只好日夜兼程,三班倒休。电影是顺利上线了,但工作人员们却累趴了。据中影IT部门何经理分析,如果五六十人同时操作的话,对存储系统的带宽要求至少是1.5 GB,而当时中影的带宽却才300MB,远远无法满足此带宽需求。

幕后英雄:初志打破影视行业存储瓶颈
中影集团电影数字制作基地有限公司北京影视后期制作公司 技术部 何立 工程师

  为什么不选择一个好的存储系统呢?谈及这一点,何经理也很无奈,在富媒体方面不是没有好的存储解决方案,而是没有合适的。比如以提供海量非结构化数据解决方案著称的美国DDN公司,其提供的解决方案很轻松就能满足中影的需求,然而却大大超出了中影的预算。

  何经理认为,部署在中影用以后期制作工作的存储系统在满足高I/O、多并发需求的同时,还要满足高安全可靠性、高可扩展性、易整合和易管理等特性。带着这几个要求,何经理先后考虑了EMC、IBM、Dell等存储厂商的解决方案,但都不能完美地解决上述几个问题。然而,机缘巧合之下,何经理使用初志公司独有的集群存储解决方案,自行搭建的数据中心,其每秒提供的带宽在2.25-2.7GByte之间,支持的前端客户端在300到400个之间,完美地解决了中影的各种需求。

  就在IT168记者受邀参观之前,中影又进行了一次扩容,将其带宽升级到4.5-5.58GByte/s,支持600到800个前端客户端同时在线。从之前的完成一部特效较多的电影需要后期工作人员三班倒休,24小时轮流工作,到现在的三部电影的后期制作同时进行,其间的改变不得不令人惊叹。那初志的集群存储解决方案到底有什么奇妙之处呢?

幕后英雄:初志打破影视行业存储瓶颈
北京初志科技有限公司 王超 总经理

  据初志公司的王超总经理介绍,初志公司的集群整合存储管理系统的核心是享有专利的CZFS分布式存储操作系统,它把文件的活动分散到许多存储服务器或存储阵列设备中。CZFS将多个元数据控制机构成集群来协调指挥文件活动,平衡系统性能和管理可用性。正是这种基于集群的方法消除了性能瓶颈并减轻了存储系统的管理负担。

  传统的磁盘阵列大多采用RAID 5结构,每一次写操作,将产生四个实际的读/写操作。其虽然满足了数据安全性需求,却限制了数据的读写速度。可能这在其他行业表现不是很明显,但在中影影视制作过程中,动辄上百GB的多个数据的I/O操作,其劣势十分明显,这也是造成带宽瓶颈最主要的一个因素。

  并且,在海量数据存储系统中,磁盘损坏是很正常的现象。传统的存储系统基于RAID机制进行数据保护,一旦有硬件故障会即刻启动服务,直到恢复完全为止,这个过程无法人为控制。由于RAID机制恢复速度慢,尤其是面对当前大容量磁盘,其恢复时间非常长,恢复过程将极大降低系统的整体I/O性能,假设此时应用的负载比较高,将会极大影响应用的正常使用。

  而初志公司的集群存储解决方案则是将所有的存储系统当做一个大的“磁盘”,将真正存储数据的存储系统作为一个集群;将两台配置SSD的存储服务器作为元数据集群,为存储系统提供索引。这个大“磁盘”直接与核心千兆交换机相连,核心千兆交换机再利用光纤通道与各工作站的千兆交换机相连。当一个访问产生,其首先访问元数据集群,然后再访问存储集群。由于SSD的访问速度极快,其能迅速直接地放到的数据存储层,并且利用多根GB级别的光纤通道以最快速度传输到工作站,这样就极大地满足了高I/O、多并发的数据访问需求。

  目前来说,RAID 5磁盘仍是可靠、有效的数据保护机制。利用初志存储整合管理系统构建的这个大“磁盘”仍可使用RAID 5机制对数据进行保护。并且,存储管理员还可根据数据的重要程度进行调节,以形成数量不同的备份。同时,类似RAID 5的自动故障修复也可以进行手动设置,在应用负载较高的时候,为了避免对应用服务造成影响,管理员可以随时停止设备恢复过程,将恢复过程延迟到负载较低的时候再行触发,这样可提高整个系统的灵活性也增强了对各种极端情况的适应性。

  初志存储整合管理系统不仅解决了影视制作行业的高性能和数据安全需求,其在可扩展性和易用性方面同样表现不凡。如果存储系统需要扩容,只要新的存储系统安装上初志公司提供的软件,然后再进行简单的设置就实现了扩容。完全不必像传统扩容那样要考虑兼容性和投资回报率等问题。同时其图形化的管理软件让存储管理员不再为系统问题头疼。

  那么这个初志的集群存储整合管理系统都适合什么样的环境呢?王超经理介绍,在I/O需求不高的环境下,集群存储整合管理系统在性能和成本上并不具有太大优势。但是,一旦企业的存储容量超过12PB,对带宽需求达到1GB以上,那么使用集群存储整合管理系统在满足各项性能需求的同时,能拥有较低的总体拥有成本,并能对以往的投资达成有效的保护。

 

0
相关文章