【IT168 方案】
存储发展与常用技术
90年代末,基于数字信号处理(DSP)的数字化视频监控逐渐开始普及,各类编解码技术在图像处理方面获得了广泛应用,经过处理后的图像也可以以数字码流的方式进行传输,图像的存储也开始进入数字化时期。最典型的应用是数字硬盘录像机(DVR),采用在内置硬盘的方式进行图像存储。
这种存储方式在保存时间、图像检索、系统维护以及远程调用方面都有了根本性的变化。但是,由于这一阶段的数字化视频监控系统大多带有明显的本地化特征,规模也相对比较小,所以存储也表现出明显的前端化和单机化特征。
近年来,随着信息网络技术的快速发展,通过中心业务平台进行集中管理和控制、以网络视频服务器和IPCamera为前端的网络化视频监控系统开始得到广泛部署。由于架构合理、扩展灵活、层次清晰,网络视频监控能够给用户带来全新的安防应用体验,从而迅速成为构建新一代视频监控系统的主要形式。
分布式的前端和平台架构、集中化的管理和控制以及灵活便捷的用户访问,使得网络视频监控系统的存储部分也开始走向网络化。网络化存储给视频监控带来了全新的存储架构,一方面,用户在存储的部署上更加灵活,访问也更简单,另一方面,构建需要实现大容量存储的视频监控系统也更为便捷。
DVR存储:编解码器内部存储--DVR存储是目前最常见的一种存储模式,编解码器设备直接挂接硬盘,目前最多可带8盘硬盘。但由于编解码设备性能的限制,一般采用硬盘顺序写入的模式,没有应用RAID冗余技术来实现对数据的保护。随着硬盘容量的不断增大,单片硬盘故障导致关键数据丢失的几率在同步增长,且DVR性能上的局限性也影响了图像数据的共享及分析。
这种方式的特点是:价格便宜,使用起来方便,通过遥控器和键盘就可以操作;DVR方式适合于小规模、分布式的部署。国产DVR产品例如海康、大华的产品,都已经十分成熟。
编解码器+存储:编解码器外挂存储设备,通过编解码器的外部存储接口连接,主要采用SATA、USB、iSCSI和NAS等存储协议扩展。
这种方式可以实现编解码器容量的再扩展,适合于中小规模的部署,监控视频数据通过RAID技术在可靠性上得到了一定保证。其中SATA/USB模式采用的直连方式,不能共享并且扩展能力较低;IP网络(iSCSI和NAS)方式下具有更好的扩展能力和共享能力。海康的DS系列监控NAS存储产品,邦诺存储的SMI系列存储产品在监控行业的应用都已十分成熟。
集中存储:服务器连接前端编解码器,通过流媒体协议下载数据,然后存放到存储设备上。服务器和存储设备之间可以通过SCSI、iSCSI、NAS、FC协议连接。集中存储方式适合于大中型平台的部署。
集中存储方式中,IP连接模式(iSCSI、NAS)有良好的扩展能力和可管理性,具备高性能价格比。
监控存储三格局
一、前端存储格局
所谓前端存储,是在网络视频监控系统的前端设备(如网络视频编码器或网络摄像机)中内置存储部件,由前端设备直接完成监控图像的本地录制和保存。
前端存储具有几个方面的优势:一是可以通过分布式的存储部署,来减轻集中存储带来的容量压力;二是可以有效缓解集中存储带来的网络流量压力;三是可以避免集中存储在网络发生故障时的图像丢失。
对于前端存储,由于单个前端编码设备通常所带监控点路数不多,存储时间也不长,所以对存储容量要求不高,网络摄像机一般用CF卡或SD卡,视频服务器一般用内置硬盘。这与以往单机存储相比,基本没有区别。
而与以往单机存储本质上不同的是,为了保证用户访问的灵活性和便捷性,网络视频监控系统中的所有前端存储除了要能够提供点对点的单机访问外,还要能够通过一个统一的接口提供所有内容的集中共享。为此,网络视频监控系统通过中心业务平台对所有前端存储进行统一管理和调度,并实现存储空间和存储内容的网络化。这样,用户既可以直接登录单个前端设备进行录像资料的点播回放,也可以统一登录中心业务平台进行所有前端录像资料的集中检索和回放。
二、中心存储格局
在网络视频监控系统中,部署得更多的是中心存储。前端设备采集监控点图像并编码压缩处理成数字监控码流,然后通过网络传送到中心业务平台,由中心业务平台将码流分发给网络录像单元进行集中存储。
在很多大型的视频监控联网应用中,也可采用多级分布的中心存储方式,即分中心存储,这样一方面可以降低一个中心点集中存储带来的存储容量和网络流量的压力,一方面可以大幅度提升系统的可靠性。
使用中心/分中心存储,在以下几个方面具有明显优势:一是对于用户而言,检索和调用录像资源更为方便;二是存储内容的完整性更容易保证,不会因为某个前端设备失窃或损坏而导致重要内容的丢失;三是可以合理的进行资源调度,为前端设备按需分配存储空间,从而节约资源;四是有利于制定多样化的存储策略,以满足用户的个性化需求;五是维护方便,便于集中检测和及时排查问题。
对于监控点路数比较少、存储时间要求不长的应用场合,中心/分中心存储可以采用服务器插硬盘或外接磁盘柜这种比较简单的方式进行部署,称为DAS(直接访问存储),与单机类似。而随着网络视频监控的优势被广泛认可,现在开始出现越来越多的大型甚至超大型视频监控系统,比如“平安城市”建设中的社会面治安监控系统、中国电信和中国网通正在全面推进的“全球眼”和“宽视界”这两大运营级视频监控系统,这些监控系统都面临着前端设备的大规模接入和大容量集中存储的需求。以往的单机存储方式无法满足这些系统在容量灵活扩展方面的应用需求,必须采用更为先进的网络存储设备和存储技术,其中典型的就是SAN、NAS以及iSCSI。
SAN(存储区域网)起源于上世纪九十年代中后期,与DAS不同,SAN基于光纤通道技术,服务器和存储阵列之间通过光纤通道交换机连接,形成专用于数据存储的区域网络。SAN采用了面向网络的存储结构,数据处理和数据存储分离,具有存储空间易于扩展、寻址灵活、可远距离传输数据、I/O性能高、存储设备利用率高等特点,是一种全新的存储体系结构。
与SAN基于专门的光纤通道协议不同,NAS(网络访问存储)基于IP网络实现服务器和存储阵列的互联,使用TCP/IP协议进行通信,以文件级的I/O方式进行数据传输。相比之下,NAS设备的安装、调试、使用和管理更简单,部署成本也相对较低。
iSCSI是IETF一种新的标准协议,即透过IP网络,将SCSI区块数据转换成网络封包的一种传输标准,它和NAS一样透过IP网络来传输数据,但在数据存取方式上,则采用与NAS不同的,而与SAN相同的BlockProtocol协议。由此,iSCSI给用户带来的价值在于:第一,iSCSI使SCSI数据包在以太网中传输成为可能,使SAN摆脱了昂贵的光纤网络,通过IP网络即可实现原先的功能,既降低了管理复杂度又降低了成本;第二,由于用户应用需求的复杂性,往往会同时部署SAN和NAS两种存储网络,而iSCSI则可以将两者融合起来。
iSCSI的这些特点非常契合现在的视频监控发展的现状和方向,特别是在运营级视频监控领域,存储的规模大、投入高,基于目前成熟的IP网络进行中心/分中心存储系统的构建,iSCSI技术无疑是一个很好的参考。
三、应用存储格局
视频监控系统常采用的存储网络架构有DAS、NAS、SAN和IP-SAN,常采用的存储设备类型有SCSI盘阵、FC和iSCSI设备。这些设备技术成熟、结构简单、安装实施也非常方便。然而这些设备都具有一个共同的缺点,就是存储设备在视频监控系统中只能起到一个简单的数据存储功能,无法替代服务器来运行特定的应用软件,视频监控系统中仍然需要大量专用服务器。
实际上,随着芯片技术的快速发展,CPU或专用ASIC芯片的运算及处理速度成倍提高,而存储设备的整体价格却在不断降低。在设备选型及购买时,出于设备更新换代方面的考虑,用户一般会选择稍高一级别的存储设备。再者,当投资充裕时价格差别对用户影响也比较小。因而在很多的应用系统中,用户采购的存储设备性能往往高出实际业务系统真实需求很多,甚至超出好几倍。
在一些中小视频监控系统中,系统中的性能瓶颈经常会出现在视频服务器而不是存储设备端,存储设备所能提供的带宽往往是视频监控实际总带宽的两倍或三倍,IOPS也是实际需求的3~5倍。存储设备控制器长时间处于半负荷工作状态,大量的高性能资源被浪费。为保障高可用性、高效性、稳定性和安全性,存储设备的控制器部分一般都是专门设计的,并采用专用的处理器和缓存,其各项技术参数和性能均高于普通PC服务器。为了有效地利用存储的富余资源,可在存储设备控制器部分内嵌特殊功能的应用软件,存储设备不仅为系统提供数据存储服务器,还能提供一定的软件应用服务器,这种存储设备就称为应用存储。
监控存储六种方式
数字化视频监控涉及到巨量数据的采集、存储和使用。因此,一个高效能的视频监控系统必须具备高效能的数据存储系统,这关系着数据管理的效率、数据安全以及数据利用的效率。那么,在电信级别的数字化监控系统中,对于数据存储系统的要求,一般说来,要满足六个方面的要求。
电信级数字监控系统的重要特点之一是大量集中的数据存储和分散化的前端应用。因此,存储系统必须具有较强的数据传输能力,否则将会影响数据存储和利用的效率。
海量数据存储需求和快速的增长变化的特点,要求存储系统在必须能够满足电信级别数据监控的海量存储要求外,同时又必须具备良好的扩展性能,应对数据量飞速增长对于存储空间扩大的需求。
另外,由于监控系统一般要求实时的录像输入,所以这种实时录像输入对盘阵的数据写能力提出了较高的要求,否则在写速度达不到要求的情况下,数据大量集中在缓存中,最终将会导致缓存数据溢出以致主机死机。
目前监控录像需要在间隔一段时间后对数据进行删除,在数据删除后,会有一定时间的间隔,数据不能立即写入,这时候数据都是保存在缓存里,较大的缓存可以保证更多的数据滞留在缓存中,等待向硬盘空间的重新写入。
除此以外,对于电信级别系统而言,良好的稳定性是必需的,如果缺乏稳定性,则会给众多用户带来巨大困扰,甚至带来巨大的损失。
电信级庞大的存储需求决定了对存储良好管理性的要求。简单有序的管理性可以帮助用户降低运营维护的成本,同时也是系统稳定性的重要保障。