存储 频道

探秘"阿凡达"生命背后的集群存储系统

  【IT168 专稿】《阿凡达》打破票房销售纪录,全球票房收入超过 27 亿美元,而此数字仍在攀升。Weta Digital 是负责该部影片视觉特效的公司,在为《阿凡达》制作炫目三维效果时也必须打破自己的一些纪录。在《指环王》三部曲和最近其它影片的制作中,Weta Digital 在密集图形渲染方面已表现得相当纯熟,但《阿凡达》的制作仍是一项巨大的技术工程。

应对规模问题

  Weta Digital 挑战了自己的计算和存储基础结构的极限,其程度远超过以往任何时候。2006 年开始着手《阿凡达》方面的工作时,Weta Digital 刚刚完成《金刚》的制作。那时,Weta Digital 的“渲染墙”中大约包含 4,400 个 CPU 核心,存储大约有 100 TB。到《阿凡达》制作结束时,公司的渲染墙中大约有 35,000 个 CPU 核心,存储也达到 3000 TB。仅渲染墙中的 RAM 容量现在就已超过《金刚》制作完成时 Weta Digital 拥有的总磁盘存储容量。

  我于 2003 年开始作为系统管理员在 Weta Digital 工作,当时最后一部《指环王》影片将要制作完成。自那时起,我便主要担任 Weta Digital 基础结构小组的组长。我们的小组负责所有服务器、网络和存储方面的相关工作。我们的工作是构建使《阿凡达》得以成功制作的基础结构,以及解决随之而来的任何技术问题。

  应对规模问题

  尽管在制作《阿凡达》期间 Weta Digital 经历了巨大增长,但管理规模上的变化没有像我们所担心的那样具有挑战性。其中大部分原因是由于我们有一支经验丰富的团队,他们知道如何相互协作。我们的团队齐心协力,当出现问题时,我们会全身心地投入进去,解决问题。我们工作努力,绝大多数情况下,我们都设法做到积极主动,而不是消极被动。

  我们很快就认识到,为了实现《阿凡达》所要求的目标,我们必须采取两大措施。

  • 建立新的数据中心。Weta Digital 一直使用分散在几座大楼中的几个小型机房。新数据中心提供一个中心位置来整合我们在从事《阿凡达》项目期间需要增加的新基础结构。

  • 实施高速光纤。Weta Digital 没有集中式园区。我们的园区由分散在惠灵顿郊区的几座独立的大楼组成。我们实施高速光纤环网将这几座大楼与新数据中心连接起来。每座大楼都具有最低 10Gbps 的冗余连接,同时配备 40Gbps 的以太通道干线,以备任何时候存储和渲染墙需要相互通信时使用。

  这两个要素为我们提供了随数据增长对基础结构进行扩展的物理容量和在两个位置之间自由移动数据的带宽。更新的渲染墙的新服务器基础结构使用 HP 刀片服务器创建。由于每个刀片服务器包含 8 个核心和 24 GB 的 RAM,我们可为每个机架配置 1,024 个核心和 3 TB 的 RAM。新数据中心由多排机架构成,其中每排包含 10 个机架,因此,我们以 10 个机架或 10,240 个核心为单位来增扩我们的服务器。我们先放入 10,000 个核心,稍后,再增加另外 10,000 个核心,再等待稍长一点时间,再增加另外 10,000 个核心,之后放入最后 5,000 个核心完成该过程。

  我们拥有多供应商存储基础结构,但存储核心由提供大约 1000 TB 容量的 NetApp 存储系统组成。到《阿凡达》制作结束时,我们已经用 FAS6080 群集替换了所有旧的 FAS980 和 FAS3050 系统。在该项目的后八个月,我们还增加了四个 SA600 存储加速设备,以解决一个特别棘手的性能问题。

0
相关文章