【IT168 技术】重复数据删除技术的时代已经到来，在这个信息泛滥的时代——从操作系统，到应用程序，再到包括云技术在内的各级存储都可以使用这项技术了。重复数据删除技术不再是过去那个独立的，只有一小部分有密码的人能接触到的备份技术了。而是一个全新的具有高灵活性的工具，能全面地节约存储成本。从某种程度上说，重复数据删除已经“冲破了牢笼”。

　　现在的重复数据删除技术具备了高性能，用起来可以像软件一样(通常安装在存储系统中)，并拥有了一些新的特性，这些特性使其具备了足够高的灵活性，可以将它安装在任何地方，从而实现了IT优化。为什么能安装在任何地方呢?很简单：因为处处有数据。重复数据删除技术能节约成本，提高效率，所以使用该技术会对企业产生积极的影响，是很有商业价值的。在深入探究重复数据删除的种种好处之前，先来看看我们到底为什么需要它?

　　理由很简单，真的很简单：数据太多了，今后还会越来越多事实是，IDC预计在2020年以前，将有35千万亿兆字节的数据产生(1千万亿兆字节=10亿兆兆字节)。此外，我们每年都在不断制造新的信息，然后将它们全部保存起来，为的是将来万一有一天会用到某些信息，因此这个数字还会不断增长。保存所有的数据听起来不错，但现实是IT预算严重吃紧，增长幅度每年也只有3%左右，因此在信息存储需求和对不断增加的信息量的负担能力之间出现了一道越来越宽的鸿沟。

　　如今的商家都有各自擅用的有效方法，比如存储分层和数据转移，将数据保存到性能/价格相对更低的存储媒介。 同时以GB为单位的存储成本也在持续呈下降趋势。但是，我们看到的数据增长率已经达到了每年50%或更高，商家和这个行业已经无法应对数据如此的泛滥之势。我们必须为此做些什么了，不然会出乱子。

　　重复数据删除不仅仅是删除重复的数据

　　重复数据删除技术开发之初是用来解决具体的备份问题的：即怎样将更多的备份数据保存在磁盘上，从而让磁盘成为较为经济的磁带替代品。备份重复数据删除技术的开发者们知道，使用它的结果是文件变大，文件数量变小。于是又开发了一些产品来专门处理这些备份文件，而不是直接处理主存储系统中数以亿计的文件。

　　事实上，备份重复数据删除最常被用来作后期处理，以尽可能减少对正在运行的应用程序的性能造成的影响。备份重复数据删除的供应商以这种方式使用该技术时，它就没有了扩展性，也不够快，因此无法被用于主要的或是其他需要该技术的应用程序中来满足更广泛的使用需求。

　　现在的重复数据删除在索引技术和存储器利用方面具备了强大的功能，因此可以胜任几千万亿字节的工作量。当前处于行业领先的重复数据删除技术具有极高的性能和能效，因此用于备份时，克服了第一代重复数据删除的局限性。而且，现在的重复数据删除技术处理信息的速度已经足够地快，完全不会连累存储性能的整体表现，还能联机使用。此外，现在的高性能重复数据删除技术已经具备了每微秒分析几十亿个数据块的能力，因此可以处理几千万亿字节的数据。

　　重复数据删除的新方法

　　新功能催生了新用法，进而可将数据库的价值和还原能力最大化。现在的重复数据删除技术的处理速度能让IO得到充分利用，而且已经远远超过了原先的版本(只能用于备份)，因此现在的重复数据删除几乎具备了不封顶的扩展性。现在的高性能重复数据删除系统可以用于任何地方，不论是主存储(包括SSD)，二级存储，归档，备份抑或是云存储。这意味着同一类型的重复数据删除系统可用于任何一个存储级，进而能广泛应用于所有类型的存储。随着存储地统一化发展，重复数据删除系统可以被安装在统一化了的存储阵列中，这样一来，不论商家想在哪些存储级安装该系统都是可以实现的。

　　不论是哪种用法，都有这个好处：重复数据删除系统一旦捕捉到初始数据块——通常是在主存储器中——并对其进行了备份分析，那么在数据的有效期内，它在不同存储级间移动时就不需要被再融合，因为重复数据删除系统在各存储层间是可共用的。是产生了两大益处：一、节省了各个存储层的空间(主存储，二级存储等);二、减少了进程负荷，因为各存储层分析数据时需要用到的循环次数越来越少，存储量也越来越少，而且重复数据删除是自下而上进行的，因此处理效率会越来越高。

　　但是，我们不能只把目光停留在存储层面。数据是在数据堆栈和应用程序的上游生成的，那么为什么不在其生成的地方进行重复数据删除呢?截止到目前，还没听说过这种方法。重复数据删除系统可以用于应用程序后，重复数据检查就能在应用层进行了，在数据的移动过程中，并且在某个数据块移动到下一级之前，会检查该级中是否已经存在该数据块，数据存储因此实现了优化。

　　上述这些操作都是以极快的速度进行的，因此不会影响应用进程。这种方法对于数据的重复删除操作而言是一种全新的方法。当然，如果能在数据生成阶段充分利用数据，那么整个数据堆栈的效率都会提高。因为这样一来就不再需要进行数据再融合，也就避免了由此带来的问题，也无需再购买，管理和保存存储副本，因此在数据有效期内，节省了存储器购置和运行管理的开支。除此之外，该方法还能用于操作系统，进而提高数据的整体效率并降低成本。

　　重复数据删除技术让数据存储的另外一种方法——云存储的也从中获益。安装了重复数据删除系统后，进行上传操作的客户端可以询问云存储器该数据是否以已经存在。 如果在云存储里面找到了该数据，就不用再传了，因此节省了通讯带宽和存储空间。如此一来，存储数据时便无需再融合数据，数据效率也和上传到云存储前一样高此外，安装使用云存储还节约了成本，就像外置的云存储一样，企业仍能充分享用CAPEX 和OPEX成本节约带来的益处。

　　重复数据删除的影响力

　　往回退一步，在操作系统或是原始应用程序中，重复数据删除可以在数据的有效期内尽可能早的捕捉到重复的数据。因此可以在一级存储阶段(SSD或主存储)就节省出存储空间。因为重复数据删除可应用于所有的存储中，无论数据移动是从性能较高也较贵的存储器还是性能较差也便宜的存储器开始的，都不需要进行数据再融合，同时保留了存储的高效率。这个方法非常系统和完善，因此降低了存储的有效成本，也减少了各级存储的实际存储量。

　　简言之就是，节省了存储成本，节省了存储空间，全面大幅地节省了营业成本。这样全方位的“节省”下来之后，CAPEX 和 OPEX成本降低了，进而推广了重复数据删除。

　　重复数据删除最初是备份和一些主存储器安装时的一个复选框功能。然而随着重复数据删除成本和效率优势的凸显，对于存储器制造和提供全面服务的商家而言，它即将变成一个核心的和必不可少的功能。重复数据删除将极大地改变信息存储模式，因为它能根据数据有效期的长短改变、执行、结合和保持数据的完整性(从应用程序到包括备份和归档在内的多级存储，再到云存储)。

　　如果一个提供全面服务的商家有能力提供操作系统，应用程序，数据库和多级存储，你又是它的客户的话，该商家使用重复数据删除技术后给你带来的收益是最有价值的，你能最大程度地节约成本并拥有最高的数据效率。服务全面的商家会使用核心竞争力尽可能得稳固自己在IT行业的地位，而商家提供了重复数据删除这一核心技术的安装使用后将为它们的客户节约大量成本。

　　无论哪个行业，数据都在以很危险的高速度增长，如何让疯长之势得到控制应该是每个IT专业人士的目标。如果，比如说我们可以承受35 ZB，然后将它减少到8 ZB，那么数据存储成本将更低，就不再令众多的IT项目预算望尘莫及了。重复数据删除能够让这种意义重大的转变成为现实。

　　IT经济即将转型，而重复数据删除将使其成为可能使用这一技术的用户将因OPEX 和 CAPEX成本的降低得到经济利益。对于率先使用重复数据删除的商家而言，它们将为自己的客户提供成本/收益上的竞争优势，客户因此将在市场竞争中超越对手，占据有利地位，增加市场份额并提高收益。就像老话常说的：胜者才能得到战利品。