存储 频道

解析主存储容量优化技术的前世今生

编者按:存储容量优化技术,就是通过优化数据,从而减少数据对存储容量需求的技术,例如我们常见的“重复数据删除”以及“数据压缩”等等。

由于容量优化技术往往基于某些算法来进行压缩或者去重,需要耗用一定的计算资源,因此我们通常在对存储性能要求并不非常严苛的备份或者归档环境中使用,最常见的产品,就是带重复数据删除功能的虚拟带库引擎。

但是,仅仅在备份或者归档的方案中压缩数据,并不能缩减数据对主存储系统的容量需求,而主存储系统相对备份和归档,往往单位空间的成本更为昂贵,也因此衍生了一些针对主存储系统的容量优化方案。本文则详细解析了主存储系统容量优化技术的发展历程和未来趋势。

【IT168 专稿】在过去的两年里,重复数据删除(Date Deduplication)以惊人的速度从一个偏僻的存储技术术语迅速成为了存储系统中广为人知的特性,几乎所有主流存储厂商都适时推出了自己的相关产品。

类似的,高速硬件数据压缩(Hardware Data Compression)应用也获得了类似的市场机遇,在不到两年的时间里,不但成为高端虚拟带库(VTL, Virtual Tape Library)的必选特性,也逐渐在归档(Data Archive)、备份(Backup)、持续数据保护(CDP, Continuous Data Protection)等次级存储(Secondary Storage)中获得了广泛应用。

次级存储容量优化技术的蓬勃发展

由于在系统功能上比较相似,都能显著减少数据容量,提高系统的运行效率,业界又专门以数据缩减(Data Reduction)或容量优化(Capacity Optimization)来统称重复数据删除和数据压缩技术这两种技术。

一般的,数据压缩技术的应用可以带来2:1~3:1的压缩比,而重复数据删除技术在备份应用中的压缩比可达10:1~20:1,综合应用两种技术之后,数据量一般可减少到原来的3%左右。

容量优化技术的广泛应用,其背景是存储系统中数据容量的急速增长:IDC报告显示,2007年新增数据量(281 ExaByte)已经超过所有可用存储介质总容量(264 ExaByte)约6%,并预计2011年数据总量将达到2006年的10倍!

数据缩减技术在次级存储中的成熟使用和带来的巨大好处促使人们认真研究并考虑将相关技术的应用进一步推广到主存储(Primary Storage)中,以应对主存储所面临的诸多问题:太高的容量需求、过多的空间和能源消耗等等。

于是,我们有了一种新的应用:主存储优化(PSO, Primary Storage Optimization)——毫无疑问,主存储优化将以成熟的数据缩减技术为基础。

0
相关文章