【IT168 资讯】重复数据删除技术大约是在去年进入人们视线的，最初提供这项技术产品的厂商包括Asigra，Avamar，DataDamain，Diligent，以及OEM软件厂商Rocksoft等，如今我们看到所有销售数据保护产品的厂商们都开始涉猎这项技术。业内人士对重复数据删除寄予了厚望，甚至预测重复数据删除技术将远远超越CDP成为今年最热门的新技术。

使用重复数据删除会有什么好处？

　重复数据删除能帮助最终用户节省在IT方面存储空间的投入，不断发展的重复数据删除技术可以大大降低用户对后端介质的需求，而不是以牺牲数据保护作为代价。它可以将备份数据的量减少20倍，如果我们用金钱来衡量的话，重复数据删除可以将存储的费用从每GB 30美元减少到1.5美元！这种强大的成本优势理所当然在IT买家中造成轰动。

　不仅仅如此，最终用户对重复数据删除还抱有更多的期待，在今后的几年时间里，重复删除还将成为主存储系统最小化数据冗余的一种选择，以及不同广域网服务的引擎，因为在流量较小的广域网中复制操作更容易进行，因而重复数据删除也显得尤为重要。
 

重复数据是如何删除的？

　我们很难理解重复数据删除的具体工作原理。对于用户来说，与之相关并且容易混淆的概念包括全量备份和增量备份。顾名思义，全量备份是拷贝整个磁盘卷的内容，我们很容易想象系统经过多次全量备份后会产生多少的重复数据。增量备份是针对于上一次备份（无论是哪种备份）：完成上一次备份后，所有发生变化的文件。当然用户往往会根据自身的情况设定备份策略，交叉使用多种备份模式。

　重复数据删除要比增量备份走得更远：增量备份将备份量减到最小，只复制了每次完全备份操作之后有变化的数据块，而重复数据删除只复制了那些变化后的不同的数据块。理想情况是，重复数据删除是在数据写入到存储系统之前完成的（例如Asigra和Avamar），或者是在数据写入到存储系统的过程之中进行的（例如Data Damain和Diligent），但是，如果你更加注重数据的保真度，也可以在数据写入到存储系统之后进行，这样就可以避免意外删除一些宝贵的唯一数据。

　重复数据删除的过程就是从存储数据中删除相同的电子邮件信息或者文件。一些厂商会在备份软件中集成重复数据删除的功能，如RenewData的ActiveVault，在备份输出时没有必要执行额外的重复数据删除。另外一些厂商则选择将重复数据删除删除作为一个单独的过程来执行，因为他们在自己的系统中没有单一实例存储模型。

　以电子邮件的应用为例，标准输出恢复选项通常包括：

　全部恢复（相当于不执行重复数据删除）

　本地电子邮件：电子邮件文件包括给目标用户的所有信息，这其中包括了在所有位置的复制信息。

　本地用户文件：用户目录里包含了所有目标用户的文件，这其中包括了在所有位置的复制文件。

　 单一实例目标用户恢复（使用重复数据删除）

　本地电子邮件：电子邮件文件包括一个实例，每一条信息在文件夹中都是以字母顺序排列的，因此，如果信息1存在于两个文件夹中，文件夹A和文件夹B，然后一次输出，信息1将只存在于文件夹A中。

　本地用户文件：用户目录只包含了一个每一个文件在所有位置中的实例。

　单一实例文件夹或路径目标用户恢复（使用重复数据删除）

　本地电子邮件：电子邮件文件包括一个实例，每一条信息属于任意文件夹。因此，如果信息1属于两个文件夹，文件夹A和文件夹B，那么一个实例中，信息1将分别包含在每个文件夹中。

　本地用户文件：用户目录只包含了一个每一个文件在各自文件夹中的实例。

　全局单一实例恢复（全局使用重复数据删除）

　本地电子邮件：只有一个实例，包含了所有目标用户的每一条信息。

　本地用户文件：只有一个实例，包含了所有目标用户的每一个用户文件。