存储 频道

某电视台制播一体化系统存储扩容方案

  【IT168 方案】随着电视台规模的不断扩大,所开通的频道也来越多,相应的节目需求量也越来越大。传统的节目制作和存储方式已经不能适应需求的变化。数字化,网络化已经成为现今电视台节目制作的趋势。随着数字化,网络化的不断深入,相应的节目存储方式也产生了变化,方式有原来的视频磁带转向了磁盘和数据流磁带,而随着音视频文件的海量增长现有存储系统所暴露出的存储空间不足、读写性能较低等问题已经影响了电视台整体的工作效率,故作为网络核心的存储设备,直接决定了应用的顺利进行,所以挑选一款合适的、高性能、可扩展的存储系统对现有存储系统进行升级就成了亟待解决的问题。

  系统现状

   现有系统分析

某电视台制播一体化系统存储扩容方案

  XX电视台制播一体化系统建于2008年,现有中心存储系统由新闻存储体、制作存储体、广告存储体3部分构成,具体应用如下:

  XX电视台制播一体化系统是由卫星节目收录系统、节目编辑系统、节目播出系统、资料存储系统四个子系统组成的,并且每个子系统都会在使用过程中对中心存储系统进行读写操作。具体如下:

  卫星节目收录系统:工作站在收录节目单中节目的录制时间和录制通道自动完成录制通道的切换和定时收录任务;收录完成的节目存储在中心存储体中。

  节目编辑系统:在节目编辑过程中,节目配音和节目编辑过程中都需要在中心存储体中进行文件读写操作。

  节目播出系统:上载播出节目、传送播出节目、上载广告节目及各个频道播出等环节将应用到中心存储系统。

  资料存储系统:通过以数据库为核心的管理模式,使得节目、素材的信息保存和再使用时的查询均通过数据库方式完成,最终通过访问中心存储获得相关资料。

  面临的挑战

  存储饱和,急需扩容:XX电视台制播一体化系统建于2008年,存储空间为36TB,现在数据空间已经处于饱和状态,急待进行扩容。

  存储I/O出现瓶颈:随着XX电视台节目非线性编辑制作任务的增多,对于节目编辑存储体读写(存储I/O)速度提出了较高的要求。

  节目越多,数据量越大:电视节目非线性编辑系统是一系列工作站的集合,随着节目的不断播出,电视台的备份数据会越来越多,电视节目数量和内容也会不断增加,这就对存储设备的存储扩展能力提出新的要求,因此要求存储设备具有强大的扩展能力。

  数据统一存储管理:电视台的数据量非常大,如果数据进行分散的存储和管理将会给维护和使用带来巨大的困难。

   数据安全要求高:广电媒体数据作为电视台的重要的资产,对数据的安全性非常高。而且一旦因为意外系统出现问题,需要厂商能够及时响应。

  系统扩容建设原则

  先进性

  XX电视台制播一体化系统平台存储系统必须采用的是先进的技术,先进的产品,遵循国际标准和国内外有关的规范要求;符合计算机、网络通讯技术和网络存储技术的最新发展潮流,并且是应用成熟的系统。

  实用性

  XX电视台制播一体化系统平台存储系统设计必须符合实际要求,针对实际应用的特点,选择相应用的软、硬件系统;系统配置既要强调先进性也要注重实用性,还应注意系统配置的经济效益,以达到综合平衡。

  可扩展性

  XX电视台制播一体化系统平台原有存储系统 SAN系统的升级要考虑今后发展,留有充分的扩充余地;系统要能满足不同协议的网络扩充和不同厂家不同产品的扩充;系统既应用于海量存储还提供本地或异地数据容灾。

  安全性

  XX电视台制播一体化系统平台存储系统具有高度的安全性,比如访问存储资源的身份认证,系统管理员的操作认证,系统本身数据的备份等等;

  可靠性

  XX电视台制播一体化系统平台存储系统具备在规定条件和时间内完成用户所要求的功能的能力,能长期稳定的工作;结构简单,连接点少,可靠性高;对工作条件和工作环境要求较低;系统启动快,系统掉电后再来电或网络传输中断后再恢复正常,系统恢复工作迅速;故障率低,维护维修方便;

  经济性

  综合考虑系统的性能和价格,性价比在同类系统和条件下达到最优,经济性应包括:系统本身的价格(包括系统、技术服务和培训);系统运行后经济效益预算的可能收益;对系统实施现场的特殊要求所需的费用;对系统集成所需的有关软件和硬件等的开发费用;系统的易扩展升级等。

  需求分析

  根据XX电视台已经出现或潜在存在的问题,对于存储系统的建设提出了很高的要求,可以说制播一体化系统存储平台的扩容建设的优劣将直接影响了电视台日常节目播出、制作的工作的质量和效率,因此,存储系统需要遵循以下5点进行整合升级:

  高并发性能

  要满足多台非编主机持续高带宽、高吞吐量的存储需求,保证在卫星节目收录、节目编辑、节目播出、资料存储等制作流程中提供更有力的性能支撑。要满足多台主机的同时在线制作,同时使用存储系统提供及高的并发性能和足够的带宽传输速度。

  易扩展

  随着业务量的不断增大,存储系统的扩展性显得尤为重要,所以存储系统的性能和容量必须提供良好的动态在线扩展功能,满足数据量的高速发展。

  易整合

  开放存储系统和环境内其他系统兼容,实现LAN以太网和SAN存储区域网的二网合一。同时可以对不同品牌的存储设备进行统一管理。

  易管理性

  便于存储系统相关资源管理及媒体资源一体化管理,使IT管理员更加轻松高效地监控、管理和分配资源。

  高安全可靠性

  满足制播一体化系统的安全保护需求,防止因设备、部件等故障而导致停机或数据丢失。制作过程中的素材和制作完成影片的核心数据,因此存储系统在数据的安全可靠性方面一定要提供充分的保障,但传统的RAID技术只能从硬盘级别提供数据保护,随着磁盘数量的增多,硬盘故障的几率增加,RAID技术数据恢复时间长、保护范围有限等缺陷使其越来越不能满足实际应用的需求,用户需要更高可靠性的设计。

  结合XX电视台的业务量和应用类型及系统规划的关注点,我们推荐使用元数据与数据集群存储分离的初志CZSS双集群存储解决方案构建存储系统。

  技术方案

  基于CZSS产品的系统的扩容整合方案

  首先要保障原有系统安全正常运行,同时要对原有系统进行整合。故采取两步实施的原则,第一步进行系统扩容,然后再进行整合。

  基于CZSS集群存储产品扩容说明

电视台制播一体化系统技术方案

  拓扑说明:在原有的中央系统单元中新增一套CZSS集群存储系统(包含3台存储控制节点和2台元数据控制节点)连入已有的核心交换机上,新增36块容量为1TB的SATA硬盘,存储空间为36TB(根据数据的增长速度,08-11年共用36TB,故此处系统将新增36TB)。单节点的带宽可达300-400MB/s,整个系统可达900MB/s-1.2GB/s的传输速度,可以保障前端多台主机同时访问存储并在同一的存储空间(对于用户端来说,多用户可看到的是统一的一块硬盘)下进行操作。

   基于CZSS集群存储产品整合说明

电视台制播一体化系统技术方案

  拓扑说明:经CZSS集群存储系统整合后,将原有的3个存储体也整合加入集群存储系统中,这样使整个中央系统单元的存储形成了一个整体,对外将提供1.8GB/s-2.4GB/s的高I/O速率。统一存储空间达到了易管理、易操作的特性;可以通过对文件进行设置副本的形式进行文件存储,这样极大的保障了文件的安全性,可保证单点故障后,系统仍能够正常运行。

  CZSS解决方案设计优势

  CZSS 集群存储系统是一款针对海量数据存储应用而设计的通用文件共享集群存储系统,采用通用的硬件设备作为构建单元,为电视台非编工作站、媒体资产管理系统等业务系统提供全局统一的文件系统映像和完全与本地磁盘相同的使用方式,确保应用能够无缝与存储系统兼容。

  CZSS 的集群存储系统提供单一的全局命名空间来管理大量的数据,这些数据被存放在统一的存储空间中,提高了资源的利用率,消除了信息孤岛; 在同一个集群存储系统中,不同的数据流同时并发进行,大大提高了系统的聚合数据读写能力。灵活的扩展功能支持在线添加存储设备,而且容量立即可用,不影响前端的应用。完全可以解决用户遇到的问题。

  同时支持更多的非编工作站

  CZSS 采用了不同于传统存储系统的控制器架构,而是采用了一个基于集群架构的数据分布式存储方案。CZSS 的带外数据传输机制,能够让应用服务器和存储节点实现直接地、高并发的数据访问,消除了控制器可能存在的性能瓶颈。并且由于CZSS具备动态增加存储节点的功能,随着存储节点数量的增多,CZSS也随着能够支撑更多的非编工作站同时进行数据并发访问。在单一的文件系统中支撑数十倍于传统存储的非编工作站。

  随着数据量增长动态扩展存储容量

  CZSS存储系统将数据统一存储到同一个可扩展的存储卷内,完全打破传统存储的单卷容量大小限制(2TB/16TB)。CZSS灵活的扩展性允许在线扩容,容量立即可用,而且扩容过程不影响前端的应用,同时系统的总体IO带宽随着规模的扩大线性增长。

  高可靠性

  任何存放到CZSS存储系统内的文件会被按照一定的粒度切片,而且可以为每个切片设置全局冗余保护,这些数据切片和冗余被存储到集群存储系统不同的存储节点上,如果其中一个节点出现故障,故障设备的数据会自动恢复到具有剩余空间的其他存储节点上,保证数据的安全性。CZSS 存储系统确保数据的可靠性,能够很容易的承受硬盘或者节点的故障。

  简易的使用和管理

  管理员可以很容易的添加存储节点或者硬盘,而且随着容量的增加,系统总体的IO带宽线性增长,扩容过程不需要中断当前的业务。一台新的存储节点的添加大概60秒钟就可以完成,新增加的容量立即可用。由于新添加的设备空间空闲,CZSS提供了数据迁移功能,会自动的将其他存储节点上的部分数据迁移到新的存储节点中,以使得存储节点上的数据量保持均衡,迁移的过程无需管理员参与。

  CZSS 集群存储系统简易的管理界面,实现单点管理,一个人就可以轻松管理,节约了维护的成本。

电视台制播一体化系统技术方案

 CZSS产品介绍

  CZSS产品架构介绍

  CZSS双集群存储架构

CZSS产品介绍

  初志CZSS集群存储采用Doubl-Cluster双集群架构,将元数据集群与数据集群分离并可实现独立扩展,用户既可以通过扩展元数据集群获得更多文件管理的能力,又可通过扩展数据存储集群获得更大的聚合带宽与存储容量,灵活、无缝、平滑的扩展方式让用户可以有效地控制成本。

  初志CZSS 集群存储为大中型组织提供可横向扩展、分布式并行系统,开放式架构高性能集群存储,它具备企业级存储虚拟化、数据高安全及管理功能。精简配置和按需供给容量功能可实现存储资源分配及容量的动态管理,有助于集中管理各种不同的存储环境。以软硬件及整体应用解决方案形式提供。

  同时,CZSS集群存储系统采用动态扩展技术,用户无需中断应用的运行就可以通过CZSS 的配置工具动态添加节点以扩大系统的容量、性能和规模,系统会自动实现负载均衡。而随着存储服务器数据的增多,整套系统的聚合带宽也会线性的增长,完全可以满足业务不断发展所产生的容量和性能需求,保持用户业务的连续性。

  CZSS集群存储系统主要由元数据控制节点集群、存储网络、集群存储节点集群三大部分组成。

  CZSS产品功能介绍

  CZSS集群存储S系列(存储集群整合管理系统)是一个在异构环境下提供统一卷管理的系统,CZSS集群存储S系列 实现在整个空间里的存储容量和存储性能的共用,虚拟存储脱离数据路径的独特设计,使得CZSS集群存储S系列没有强加任何性能损失。

  CZSS集群存储S系列为分散的企业级存储提供集中的管理,很大程度上降低了总体拥有的成本,它是一个存储应用的理想平台,比如统一卷管理精简分配、全局冗余度设置、负载均衡、故障自动恢复以及其它高级功能,它也是业务连续性策略的关键实现者。由以下一些基本组件构成:

  •   CZFS分布式存储操作系统
  •   元数据控制机节点基本软件
  •   元数据集群管理软件
  •   大目录支持软件
  •   负载均衡软件
  •   灵活冗余度软件
  •   故障自动恢复软件
  •   存储集群整合引擎
  •   客户端网络文件共享协议软件
  •   存储系统数据同步软件
  •    高级管理功能软件包

0
相关文章