存储 频道

神作背后!探秘阿凡达生命的数据之源

  【IT168 专稿】美国导演詹姆斯•卡梅隆的史诗巨作《阿凡达》目前已经产生了超过18亿美金的票房,其精彩绝伦的3D效果也正是影片成功的重要因素。这部影片把我们带到异域风情浓郁的潘朵拉丛林,在那里有着蓝色皮肤的外星人与潘多拉星球和谐融洽的融为一体。

  影片在拍摄技巧和3D渲染制作上的成就达到了一个新的高峰,影片《阿凡达》的特效提供商Weta Digital表示,这部影片使业界对动画渲染工作流程以及存储基础设施的需求达到了前所未有的高度。为了保持同步,Weta Digital采用了12个Titan服务器集群系统来存储并管理超过500TB的数据,以确保同时向数千个为《阿凡达》制作特效的渲染节点提供数据以及另外700TB的近线存储。

  Weta Digital在存储方面的合作伙伴包括多家公司,其中,与HDS公司保持了紧密OEM合作关系的BlueArc是非常重要的一家,此外,NetApp也与Weta Digital紧密合作,共同为阿凡达3D渲染效力,为阿凡达提供栩栩如生的形象和源源不断的生命力。

  3D渲染的存储功臣BlueArc

  作为Weta Digital迄今为止接手过的数据处理量最多且最密集的项目,《阿凡达》的特效制作需要处理各类大小文件以及不可预测的顺序访问和随机访问,是目前要求最苛刻以及吞吐量和I/O最密集的存储环境之一。为了满足存储系统连续不间断工作的要求、实现《阿凡达》导演所要求的特技效果,Weta Digital选用了BlueArc的存储解决方案,来确保制作团队不受停机或停工困扰,按计划完成影片的制作。


用3D渲染而成的阿凡达栩栩如生

  在《阿凡达》制作的高峰期,BlueArc NAS系统要服务渲染库上的超过34,000个内核,全天候以每秒8GB的持续负载量处理16,000个并发读写流程。尽管增加了更多的渲染节点,该存储系统依然能保持极高的吞吐量,这在最大程度上帮助艺术家加快了工作进度、消除了主要瓶颈并简化了数据管理。

  目前,BlueArc是日立数据系统公司的重要OEM合作伙伴,自2006年以来,HDS即在全球范围内OEM销售BlueArc的NAS产品,为多个领域的用户提供了高性能的NAS存储平台,在《阿凡达》这样一个世纪巨制的特效电影中,BlueArc NAS再一次证明其卓越性能。

  NetApp的非常规数据管理

  NetApp 公司同样为Weta Digital提供了数据存储服务。《阿凡达》在拍摄中采用了革新的动态捕捉技术,该技术生成出比史上任何一部电影更多的数据(超过整个魔戒三部曲),这为数字特效行业带来了前所未有的新挑战。

  Weta Digital 依赖庞大的渲染运算集群来完成《阿凡达》的制作,该集群在内部被称作Render Wall。整个制作过程中所面临的主要数据存储挑战包括:如何有效地管理渲染集群所生成的海量数据、如何让众多的动画制作师快速地访问更新后的主版本纹理文件(纹理文件是《阿凡达》中描述物体外观的图片,如一片叶子或一缕头发,在渲染过程中包裹在3D 模型外部以生成生动的、足以乱真的动画形象)。

  Weta 采用 NetApp 存储系统保存其全部的由艺术家创作生成的高价值数据,因此对这部分数据的可靠性和易管理要求达到了极端重要的程度。

  如何管理这种技术密集型的CGI (计算机模拟人像)环境所生成的数据?这为存储系统性能及存储容量管理带来了少有的挑战。Weta 需要同时应对大量各不相同的数据服务器、以数据读访问为主的负载类型,以及非常多的中等尺寸的文件。Weta Digital、 NetApp 、富士通(在本系统实施中为NetApp在新西兰的代理商)携手合作,开发了下述可扩展的存储解决方案:

  1. 在文件渲染过程中减少原来需要大量手工进行的数据管理工作;
  2. 最大化存储环境的性价比。

  NetApp和Weta共同创建的存储系统能够允许Weta的用户自动平衡渲染集群的吞吐量需求,为用于渲染工作的超过 35000 个CPU核心提供服务,以便能最快地访问常用的纹理文件。该解决方案基于NetApp的FlexCache 存储加速解决方案,在提供高速数据访问能力的同时,保证大量用户可以并发地访问更新过的最新纹理文件。NetApp FlexCache 系统的实施为Weta Digital消除了 95% 的人工干预工作量,而在以前的环境下进行数据移动和管理时,这些工作是难以避免的。

  NetApp FlexCache 服务层还允许 Weta 得以实现流程自动化。在该流程中,用户可以同时快速访问一个主版本纹理文件和多个相对应的副版本文件,而且不再需要人工干预来实现数据管理。Weta面临的数据管理难题包括:

  ? 发布改动数据——旧的存储模型中,一旦艺术家做出修改,它需要人工干预来更新主版本纹理文件;
  ? 数据管理——旧的存储模型中,同时在多个地方保留大量相同的纹理文件,需要大量的人工干预;
  ? 数据同步——旧的存储模型中,将多个面向渲染集群、提供直接服务的只读状态副版本文件与主版本纹理文件进行同步,需要大量的人工干预。

  Weta Digital 首席技术官 Paul Ryan 评价道:“传统的存储解决方案难以解决《阿凡达》的需要。我们已经与 NetApp 成功合作了十年,非常高兴他们能够根据我们的需求专门设计、提供了创新而有效的存储系统环境。NetApp 的解决方案削减了我们 95% 的数据管理开支,并提高了 40% 的存储系统性价比。这一解决方案还大大降低了消耗在存储处理上的 CPU负载,实现了更短的访问延迟时间、更快的渲染频率,并提高了艺术家们的创作生产力。我们一直在寻找经济且高效的方案来解决我们的数据管理难题,NetApp 用 FlexCache解决方案真正为我们做到了。”

  技术概览

  ● 4套NetApp SA600 FlexCache存储设备,均采用双控制器高可用配置,运行 NetApp Data ONTAP 操作系统,安装450GB 15000转光纤磁盘驱动器。数据访问后端同时配置一套 NetApp FAS6000 高端存储系统,用于保留纹理文件母版。SA600使用FelxCache软件,在大规模渲染集群和FAS6000存储系统之间构成高度可扩展的热点数据缓存层。

  ● 在以上 SA600 系统所使用的每个控制器中,安装两块 NetApp 性能加速模块(PAM),以此来最大化数据读访问性能,同时无需大量增加后端磁盘数量。这种方案降低了系统成本、电力消耗和制冷费用。

  ● 在以上SA600系统所使用的每个控制器上,安装两个开通了TOE(TCP/IP Offload Engine)特性的10GbE万兆以太网通道,连接到渲染集群,保证达到最大化的链路聚合连接性能。

  NetApp 澳大利亚和新西兰区域副总裁 Peter O’Connor 表示:“NetApp 已经展示了我们的创新性存储和数据解决方案能够帮助 Weta 提高存储效率并减少成本。我们与 Weta 的合作伙伴关系已证明, NetApp 会继续满足市场的需求,为客户提供能够帮助他们应对重大商业挑战、实现业务突破的一流解决方案。”

0
相关文章