【IT168 评论】持续不断的数据量增长,或被称为“信息爆炸”对于众多企业和专业存储结构来讲已经是司空见惯的名词了。多数人都同意这种观点,即新的业务应用程序被不断的开发、数据媒体服务以及社交网络工具的出现,更催生了大量的数据,使得数据增长速度雪上加霜,这些数据将会持续增加对存储系统的需求。
所以,许多存储环境已经将它们关注的焦点转移到了如何在备份过程中缩减需要备份的数据上面了。第一个能够让你想到的数据缩减方案是数据压缩和重复数据删除技术,还有其他的数据缩减技术,诸如单一实例存储(Single-Instancestorage,SIS)、数据归档以及数据重构/删除。
早在上世纪70年代,为了解决日益增长的文本文件存储在硬盘中而空间占用过大的问题,数据压缩算法被开发了出来。数据压缩工具比如LempelZiv(LZW),代表了早期人们对数据缩减所做的努力。而到了20世纪初期,重复数据删除技术浮出水面并且在近几年内得到了广泛的普及。然而,取决于被操作的数据目标,这两种技术都在性能以及能力上有各自的局限
比如,文本或者数据库对应的数据会得到不错的压缩比,但是图像和视频文件则非常难以被压缩,除非损失一定的分辨率和品质。重复数据删除的比率也会根据所操作的目标数据而有迥异的去重比率。比如,被加密的数据一般会得到很低的去重比率,因为加密会对数据产生随即效应。此外,重复数据删除依然没在主存储系统中得到太多应用,由于性能问题,它更加适合被使用在二级存储系统中,比如数据备份归档系统中。
下一代数据压缩技术
数据压缩技术已经取得了一些主要进展,诸如OcarinaNetworks和StorwizeInc这样的公司已经找到了一种可以绕过系统主CPU而在主机和一级磁盘之间增加一个单独设备而进行数据压缩的方法。当被压缩的数据被从主存储移动到二级存储上比如备份或者归档介质之后,这里还可以使用重复数据删除引擎对它们再次进行Dedup操作,锦上添花。然而,这种技术毕竟是新出现的技术,而且目前仅支持NAS系统。将来可能会发布支持FC或者ISCSI的版本,而且还需要与当前的主流技术相兼容,比如FCoE。
其他数据缩减选择
不幸的是,除了重复数据删除和压缩之外,能用于数据缩减的技术非常有限,甚至可能根本不会降低数据的占用空间。所剩的另一种数据缩减技术是数据删除/重排(datadeletion/disposition),当前它可以在技术角度上做到,但是却需要更多的人为因素介入,比如“策略”。在讨论数据重排之前,我们先来看另一个数据缩减技术。