存储 频道

电视领域中的存储技术

  【IT168 资讯】

  二、存储技术

  1.数据流磁带存储技术

  数据流磁带技术是一门古老的技术。伴随着技术的不断发展和更新,其容量、读写速度、可靠性都在迅速提高,它在广电领域的应用也引起重视。常用的磁带存储技术有三类:

  (1)LTO技术

  LTO即线性磁带开放协议,是由HP、IBM和Seagate三家厂商于1997年底联合制定的。它是开放式的技术,三家厂商将生产许可证开放给存储介质和磁带机厂商,使不同厂家的产品兼容。开放性带来更多的创新,兼容已有设备,降低成本和价格,使用户受益。LTO结合了线性多通道、双向磁带格式、硬件数据压缩、优化的磁道存储和高效纠错技术,大大提高磁带的性能。目前LTO支持Ultrium(高速开放磁带格式)和Accelis(快速访问开放磁带格式)。Ultrium格式具有高可靠性、大容量的特点。特别是能单独操作,也可以在自动环境中使用。Accelis则侧重于快速数据存储。它在磁带盒中装有双轨磁带存储器用于加快读写速度。两种格式使用同样的磁头、介质磁道面、通道和服务技术,并共享许多代码。两种格式相较而言,大部分用户更强调存储容量,因而Ultrium技术更引人注目。国内广电业于2002年开始引用该技术作媒体资产存储,这是一个值得重视的技术走向。

  (2)DAT技术

  DAT(数字音频磁带技术)最早由HP和Sony开发。它采用螺旋扫描技术,早期主要用于数字音频存储,后来经过改进,用于信息存储领域,而且种种迹象表明,DAT 的优势还将继续保持。DAT技术之所以大受欢迎,很重要的原因是其很高的性价比、高可靠性。另外该技术全世界都采用,因此世界范围都可得到该产品的持续供货和良好的售后服务。

  (3)DLT技术

  DLT(数字线性磁带)技术最早于1985年由DEC公司开发,它主要应用于VAX机。当时是高性能、高价格,仅应用于很少领域。经改进后,又重新成为存储领域的热门技术。目前磁带驱动器容量为10~35GB,采用硬件压缩技术,容量可提高一倍。但DLT技术也存在一定的劣势。驱动器和磁介质价格高,主系统和网络之间带宽窄。非标准的外型设计使内部受到很大限制。但该技术仍可视为未来有前途的产品。目前只被少数需要高性能备份的用户采用。

  2.SCSI 技术

  SCSI的发展经过三个阶段。SCSI协议的第一版本仅规定了5MB/s的传输速度的总线类型,接口定义、电缆规格等标准。第二版本作了较大修改。SCSI-2协议规定了16位数据带宽。高速的SCSI存储技术陆续成为市场的主流,也使SCSI技术牢牢地占据了随机存储市场。SCSI-3协议增加了能满足特殊设备协议所需要的命令集,使得它既能适应传统的并行传输设备,又能适应最新出现的一些串行设备的通信需要,如光纤通道协议(FCP)、串行存储协议(SSP)、串行总线协议等。

  由于SCSI技术兼容性好,市场需求大,其技术不断翻新。现在已从5MB/s传输速度的SCSI-1发展到LVD的160MB/s,近期 320 MB/s的SCSI也已投入使用。

  SCSI技术广泛应用于非线性编辑、字幕机等制作设备。早期的硬盘播出设备采用该技术构建视音频服务器,但因其可靠性等原因而被新技术取代。高可靠性的大型存储系统,通常把SCSI技术与其它技术结合来实现故障自恢复,提高安全性,达到系统不间断工作的目的。

  3.RAID 技术

  RAID即独立(廉价)磁盘冗余阵列是英文Redundant Array of Inexpensive Disks的缩写,它是一种将多个磁盘驱动器按照一定的方式组合在一起协同工作,使用起来如一个磁盘,但是比单个磁盘有着更大存储容量、更高速度和更高稳定性的存储技术。一个磁盘阵列就是多个磁盘驱动器的集合。磁盘阵列有物理驱动器阵列与逻辑驱动器阵列之分,物理驱动器阵列可以被分开或组合成一个或多个逻辑驱动器阵列,逻辑驱动器阵列可以是一个硬盘,也可以是硬盘中的一个分区,逻辑驱动器阵列由可以在操作系统中看到的逻辑驱动器组成。

  RAID控制器就是在物理和逻辑驱动器阵列中管理数据存取的功能部件。它的功能可以通过硬件实现,也可以通过软件来完成。系统通过它管理阵列中数据的存取,而不直接管理,这样系统可集中力量进行数据的运算处理,提高整个系统的性能。硬件RAID控制器一般用于处理大量数据的RAID模式。软件RAID需要占用一定的CPU处理时间,当处理大量数据时,应该使用硬件RAID控制器。

  RAID技术分为几种不同的等级,可以分别提供不同的速度、安全性和性价比。目前有很多种方法构成RAID,可分为RAID0~RAID7,其中最常用的是RAID0,RAID1,RAID3,RAID5。

  (1)RAID0带区集:可以将若干不连续的存储空间合并为一个大的存储空间。文件顺序从卷集的第一个段开始写,然后顺序写入到第二个,第三个和后续的段中。卷集的容量可以很大(所有磁盘容量的总和),但是如果其中一个硬盘出现错误,则整个卷集都不能用了。因此其可靠性不高。

  (2)RAID1镜像集:用完全相同的一组磁盘备份所存储的信息。其可靠性很高,但是磁盘的利用率不高(50%)。这种方式主要用于重要文件的存储,比如操作系统和视频服务器播出软件的存储等。

  (3)RAID3:RAID3采用的是一种较为简单的校验实现方式,使用一个专门的磁盘存放所有的校验数据,而在剩余的磁盘中创建带区集分散数据的读写操作。随着所使用磁盘数量的增多,成本开销会越来越小。

  RAID 3虽然具有容错能力,但是系统会受到影响。当一块磁盘失效时,该磁盘上的所有数据块必须使用校验信息重新建立。如果我们是从好盘中读取数据块,不会有任何变化。但是如果我们所要读取的数据块正好位于已经损坏的磁盘,则必须同时读取同一带区中的所有其它数据块,并根据校验值重建丢失的数据。

  除有关数据写入和降级模式的问题之外,在使用RAID 3的过程中还有其他一些性能上的问题。RAID3所存在的最大一个不足同时也是导致RAID 3很少被人们采用的原因就是校验盘很容易成为整个系统的瓶颈。

  (4)RAID 5带奇偶校验的带区集:按照带区集的方式先将文件分割成块,这些块被顺序写入带区集的每一个磁盘,并故意让文件分散存放在多个磁盘中,这样读写数据时磁头的移动要相对少些,因此读写速度快些。同时,用一些磁盘存放校验记录。当其中一个磁盘出错时,可以用奇偶校验记录同其他盘的数据一起重建出错盘的数据,这就使得带奇偶校验的带区集可以在一个磁盘出错时仍可以继续使用,因此可靠性大为增加。同时磁盘利用率也很高,比如5个磁盘中有一个奇偶校验盘,则存储空间利用率为80%。

  4.SAN技术

  存储区域网(SAN)指的是通过一个单独的网络(通常是高速光纤网络)把存储设备和挂在TCP/IP局域网上的服务器群相连。当有海量数据的存取需求时,数据可以通过存储区域网在相关服务器和后台存储设备之间高速传输。

  SAN以光纤通道(FC)为基础,实现了存储设备的共享;突破现有的距离限制和容量限制;服务器通过存储网络直接同存储设备交换数据,释放了宝贵的LAN资源。

  FC提供高性能传输和高带宽的可视化计算适用于CPU、海量存储器互联的分布式计算机系统,提供类似I/O的带宽和并行处理能力,其数据传输速度可以达到1.06Gbps。FC由于其实际协议的低消耗,其实际可用带宽几乎接近于实际数据传输带宽,并且具有扩展带宽的潜力,已成为SAN的事实标准。SAN光纤通道具有如下优势:

  1.主站或工作站的传输采用1千兆的光纤通道每秒可传输高达100MB的高带宽数据。
  2.高带宽数据可实现远距离传输(因为采用光纤)。
  3.SCSI的协议可实现可靠的高速传输。
  4.光纤通道的带宽可无限制发展,因此主站、工作站与存储器间的传输速率可扩展。

  但在现有FC基础上,目前无法达到基本安全管理要求。

  由于FC在网络管理方面还不成熟,难以满足实际工作的要求。而在目前最为成熟的以太网上,系统管理比较完善,价格也比较低廉。所以在电视台非线性编辑网络及硬盘播出网络等这些数字视音频网络系统可采用FC与以太网结合,利用FC传输视音频信号,用以太网传送控制信号。

  由于电视台的数字视音频网络系统具有数据量大、带宽要求高、实时性强、数据安全敏感等特征,以传统的计算机局域网(LAN)与存储区域网(SAN)相结合的双网结构已成为电视台数字视音频网的流行构架。SAN也可以作为视音频播出服务器的网络化构架。

  5.NAS 技术

  NAS(Network Attached Storage,网络附加存储)是一种将分布、独立的数据整合为大型、集中化管理的数据中心,以便于对不同主机和应用服务器进行访问的技术。它是一种特殊的、能完成单一或一组指定功能的基于网络的存储设备,它通过自带的网络接口把存储设备直接连入到网络中,实现海量数据的网络共享,把应用程序服务器从繁重的I/O负载中解脱出来,它是新兴的面向网络存储模式的标志性设备。

  NAS被定义为一种特殊的专用数据存储服务器,包括存储器件(例如磁盘阵列、CD/DVD驱动器、磁带驱动器或可移动的存储介质)和内嵌系统软件,可提供跨平台文件共享功能。NAS通常在一个LAN上占有自己的节点,无需应用服务器的干预,允许用户在网络上存取数据,在这种配置中,NAS集中管理和处理网络上的所有数据,将负载从应用或企业服务器上卸载下来,有效降低总拥有成本,保护用户投资。

  NAS本身能够支持多种协议(如NFS、CIFS、FTP、HTTP等),而且能够支持各种操作系统。通过任何一台工作站,采用IE或Netscape浏览器就可以对NAS设备进行直观方便的管理。

  NAS是真正即插即用的产品,并且物理位置灵活,可放置在工作组内,也可放在混合环境中,如混合了Unix/Windows NT局域网的环境中,而无需对网络环境进行任何的修改。NAS产品直接通过网络接口连接到网络上,只需简单地配置一下IP地址,就可以被网络上的用户所共享。

  NAS是目前发展速度最快的数据存储设备之一。在典型的网络架构中,数据成为了网络的中心,NAS设备是直接连接在网络上的。它具有如下的特点:

  (1)NAS设备是作为单独的文件服务器存在的。网络中所有设备的大多数据均存储在NAS设备上。
  (2)将NAS设备连接到网络中非常方便。如通过设置简单的IP地址等,就可以即插即用地使用NAS设备。
  (3)NAS设备使用的方便性,可大大降低设备的管理和维护费用。
  (4)NAS设备可以支持不同的操作系统平台。同时提供了RAID硬盘、冗余电源和风扇、冗余控制器,可保证7×24小时工作。

  该技术在数字视频领域用于中心在线存储、网络硬盘服务器和网络非线性编辑等。

  6.虚拟存储技术

  着电视台规模的发展,全台级大规模视频网络的应用被提出。在这种需求下,就必须将更先进的存储技术与产品引入视频领域,现在各种存储概念层出不穷,其中具有划时代意义的是虚拟存储概念的提出。相对于传统的交换机加RAID阵列,主机通过硬件层直接访问阵列中的硬盘的SAN结构,虚拟存储的定位是将数据存储功能从实际的、物理的数据存取过程中抽象出来,使普通用户在访问数据时不必关心具体的存储设备的配置参数、物理位置及容量,从而简化用户和系统管理人员的工作难度。

  所谓虚拟存储,就是把多个存储介质模块(如硬盘、RAID)通过一定的手段集中管理起来,所有的存储模块在一个存储池(Storage Pool)中得到统一管理,从主机和工作站的角度,看到就不是多个硬盘,而是一个分区或者卷,就好象是一个超大容量(如1T以上)的硬盘。这种可以将多种、多个存储设备统一管理起来,为使用者提供大容量、高数据传输性能的存储系统,就称之为虚拟存储。

  目前虚拟存储的发展尚无统一标准,从虚拟化存储的拓扑结构来讲主要有两种方式:即对称式与非对称式。对称式虚拟存储技术是指虚拟存储控制设备与存储软件系统、交换设备集成为一个整体,内嵌在网络数据传输路径中;非对称式虚拟存储技术是指虚拟存储控制设备独立于数据传输路径之外。从虚拟化存储的实现原理来讲也有两种方式;即数据块虚拟与虚拟文件系统。

  数据块虚拟存储方案着重解决数据传输过程中的冲突和延时问题。在多交换机组成的大型Fabric结构的SAN中,由于多台主机通过多个交换机端口访问存储设备,延时和数据块冲突问题非常严重。数据块虚拟存储方案利用虚拟的多端口并行技术,为多台客户机提供了极高的带宽,最大限度上减少了延时与冲突的发生,在实际应用中,数据块虚拟存储方案以对称式拓扑结构为表现形式。

  虚拟文件系统存储方案着重解决大规模网络中文件共享的安全机制问题。通过对不同的站点指定不同的访问权限,保证网络文件的安全。在实际应用中,虚拟文件系统存储方案以非对称式拓扑结构为表现形式。

  从拓扑结构来讲,对称式的方案具有更高的带宽性能,更好的安全特性,因此比较适合大规模视频网络应用。非对称式方案由于采用了虚拟文件原理,因此更适合普通局域网(如办公网)的应用。

  实际上,上述技术并不是孤立存在的,而是综合应用这些技术来构造系统。例如,GVG公司和Pinnacle公司视音频服务器的存储阵列服务器采用RAID3技术,存储阵列服务器主、备镜像,视音频服务器与存储阵列服务器采用FC的NAS方式。SeaChange公司服务器的存储阵列采用RAID5技术,服务器之间采用Cluster连接、RAID2故障自恢复方式,对外接口用Local Ethernet互联。技术在发展,多种存储技术在互相竞争,互相促进和共融,适者生存。没有绝对的先进领先,只有相对的领先。特别是设计电视应用系统时,要根据对像、投资、技术要求来确定选用的存储技术和结构类型,缺乏前瞻和过于追求低价格,都会造成不必要的浪费。

0
相关文章