【IT168 评论】重复数据删除技术的时代已经到来，在这个信息泛滥的时代——从操作系统，到应用程序，再到包括云技术在内的各级存储都可以使用这项技术了。重复数据删除技术不再是过去那个独立的，只有一小部分有密码的人能接触到的备份技术了。而是一个全新的具有高灵活性的工具，能全面地节约存储成本。从某种程度上说，重复数据删除已经“冲破了牢笼”。

　　现在的重复数据删除技术具备了高性能，用起来可以像软件一样(通常安装在存储系统中)，并拥有了一些新的特性，这些特性使其具备了足够高的灵活性，可以将它安装在任何地方，从而实现了IT优化。为什么能安装在任何地方呢?很简单：因为处处有数据。重复数据删除技术能节约成本，提高效率，所以使用该技术会对企业产生积极的影响，是很有商业价值的。在深入探究重复数据删除的种种好处之前，先来看看我们到底为什么需要它?

　　理由很简单，真的很简单：数据太多了，今后还会越来越多事实是，IDC预计在2020年以前，将有35千万亿兆字节的数据产生(1千万亿兆字节=10亿兆兆字节)。此外，我们每年都在不断制造新的信息，然后将它们全部保存起来，为的是将来万一有一天会用到某些信息，因此这个数字还会不断增长。保存所有的数据听起来不错，但现实是IT预算严重吃紧，增长幅度每年也只有3%左右，因此在信息存储需求和对不断增加的信息量的负担能力之间出现了一道越来越宽的鸿沟。

　　如今的商家都有各自擅用的有效方法，比如存储分层和数据转移，将数据保存到性能/价格相对更低的存储媒介。 同时以GB为单位的存储成本也在持续呈下降趋势。但是，我们看到的数据增长率已经达到了每年50%或更高，商家和这个行业已经无法应对数据如此的泛滥之势。我们必须为此做些什么了，不然会出乱子。

　　重复数据删除不仅仅是删除重复的数据

　　重复数据删除技术开发之初是用来解决具体的备份问题的：即怎样将更多的备份数据保存在磁盘上，从而让磁盘成为较为经济的磁带替代品。备份重复数据删除技术的开发者们知道，使用它的结果是文件变大，文件数量变小。于是又开发了一些产品来专门处理这些备份文件，而不是直接处理主存储系统中数以亿计的文件。

　　事实上，备份重复数据删除最常被用来作后期处理，以尽可能减少对正在运行的应用程序的性能造成的影响。备份重复数据删除的供应商以这种方式使用该技术时，它就没有了扩展性，也不够快，因此无法被用于主要的或是其他需要该技术的应用程序中来满足更广泛的使用需求。

　　现在的重复数据删除在索引技术和存储器利用方面具备了强大的功能，因此可以胜任几千万亿字节的工作量。当前处于行业领先的重复数据删除技术具有极高的性能和能效，因此用于备份时，克服了第一代重复数据删除的局限性。而且，现在的重复数据删除技术处理信息的速度已经足够地快，完全不会连累存储性能的整体表现，还能联机使用。此外，现在的高性能重复数据删除技术已经具备了每微秒分析几十亿个数据块的能力，因此可以处理几千万亿字节的数据。