存储 频道

重复数据删除技术应对数据保护挑战

  【IT168 应用】这几年用户面临几大数据保护挑战。第一个挑战是如何降低存储成本。这个存储成本并不是指生产数据的在线成本,而是指用于数据备份的这个成本。因为数据越来越多,意味着数据备份所需要的空间也越来越多。那么如何降低存储成本,除了从硬件的角度去降低,还有别的方式吗?

  第二个挑战是怎样减少备份时间和网络负载。网络存储越来越多,按照传统方式,备份的时间很长,时间一长就会对网络产生巨大的压力。

  第三个挑战是如何在完善灾难恢复战略的同时可以降低成本。也就是我们既要有完善的灾难恢复计划,又要在计划实施的前提下尽量降低成本。

  第四个挑战是怎样集中保护远程办公室数据,简化管理。远程办公室的数据保护很容易,关键是要花费多少成本去保护并使远程数据办公室的管理更加简化。因此磁盘和重复数据删除技术应该在所有备份重新设计的议程之内,硬件厂商也应给予其不断的考虑。

  NetBackup 重复数据删除技术简介

  它有三种方法,我们分别称为:好方法、更好的方法、最好的方法。这三种方法根据不同的用户环境进行不同的使用。

  第一种方法是好方法,它适合大多数用户的普通使用。它是利用 NBU 重复数据删除技术执行硬件设备端重复数据删除。也就是说我们使用一些特殊的存储硬件,这些硬件本身带有重复数据删除的功能,用这些硬件去替代没有重复数据删除的硬件像资料库和普通的磁盘等等。

  这种方法在硬件设备处进行重复数据删除,并由NetBackup通过 OpenStorage(OST) API 集中进行管理。OST API在这个过程中起到了什么作用?事实上它的作用很大,因为重复数据删除技术需要更好的管理,重复数据删除所能容纳的容量并不代表硬件的标称值。比如一个硬件设备的标称值是1TB,但是它里面存放的数据经过重复数据删除后有可能是3个TB或5个TB,甚至10个TB。这样的话,没有OST API这个接口管理就会很麻烦。比如我现在已经放了5个TB数据了,但从硬件设备来看只能放1个TB的数据,系统就会认为这个设备已经满了,将阻止备份程序继续把数据写进去。但事实上因为硬件有重复数据删除技术,它仍然有大量的空间可以存储数据。在这里 OpenStorage(OST) API 的集中管理就显得尤为重要。

  第一种方法的优势有哪些?首先它可以轻松设置,且不改变备份环境,只要把硬件换成支持重复数据删除的就行;其次他可以集中管理策略和控制备份;第三它可以通过 OST API 提高性能。看下图:

NetBackup 重复数据删除技术简介

  从图中我们看到重复数据删除是工作在硬件上的,这会带来一些劣势。首先是备份数据到达硬件设备前体现的都是完整备份工作量,举例来说就是你客户端有1TB的数据,这1TB的数据必须是完整地传到介质服务器上然后再完整地传到重复数据删除硬件设备上,在传输过程中是不能节省的,也就是无法实现基础架构节约。其次是带有重复数据删除硬件的成本比单纯的硬盘高。

  第二个方法,也就是更好的方法,它是利用 NetBackup 重复数据删除技术执行介质服务器端重复数据删除。如图所示,它的重复数据删除技术是工作在介质服务器上的。这种方法是在数据发送到磁盘之前就对其进行重复数据删除,

重复数据删除技术应对数据保护挑战(二)

  只在客户端到介质服务器的过程中数据是完整的。这么做有以下优势:

  • 在介质服务器上就删除了重复数据,可减少此处使用的带宽

  • 它是内置到 NetBackup 中,部署和管理简单易行,可充分利用常用硬件

  • 与传统的在客户端进行重复数据删除相比,它对客户端没有任何影响

  它的劣势是数据到达介质服务器前都是完整的备份工作量。如果是服务器与服务器互联的高带宽的情况下,这个问题不严重。但是窄带宽的话,这个问题就会比较突出。

  第三种方法,暂时称为最好的方法,即利用 NetBackup 重复数据删除技术执行数据源端重复数据删除。它是把重复数据删除引擎放在客户端,在数据发送到网络之前就对其进行重复数据删除。如图所示

重复数据删除技术应对数据保护挑战(二)

  这种方法的优势包括:

  • 快速可靠的备份 - 无需再传输重复的数据

  • 内置到 NetBackup 中,部署简单易行,可充分利用常用硬件

  • 可减少对 WAN/LAN 带宽的影响降低初次全面备份对客户端的影响

  • 全面的应用程序和平台支持

  • 大多数应用程序和文件/文件夹备份的理想之选

  它的劣势是对于数据变化频繁的数据集来说可能不是很理想。

  NetBackup 重复数据删除技术如何帮助应对以上挑战?

  降低存储成本:删除备份和归档存储中的重复数据

  通过对备份和归档池进行重复数据删除以最大限度减少存储使用空间,主要有两种方式,如图所示。

重复数据删除技术应对数据保护挑战(三)

  减少备份时间和网络负载

  现在有越来越多的网络数据,这些数据需要备份。比如现在需要移动1TB的数据,而这1TB数据中有 90% 都是重复的,需要进行重复数据删除。

  下面我们对传统备份和赛门铁克NetBackup备份做一个对比,看看有何优缺点。如图所示:

重复数据删除技术应对数据保护挑战(三)

  提高灾难恢复能力

  以往用备份做灾难恢复,都是把数据存储磁盘中,再由快递公司将磁盘送到灾难恢复办公室。然而现在这个方式完全不一样了。看下面的图:

重复数据删除技术应对数据保护挑战(三)

  可以看到所有的数据都备份到NetBackup的重复数据删除池,然后这个池通过一条链路连接到了远程的NetBackup介质服务器。这与传统的容灾复制有什么不同呢?它在一开始的传输链路上就使用了重复数据删除,提高了数据传输效率和灾难恢复的能力。

  NetBackup有以下几个优势:

  • 内置目录复制功能可以轻松快速地进行恢复

  • 最大限度减少资源利用,仅复制重复数据删除后的数据

  • 最大限度降低风险,无需再运输磁带

  • 降低成本,无额外成本即可获得副本

  集中保护远程办公室数据,简化管理

  远程办公室保护有两种方法。

  第一种方法是在远程办公室建立备份站点。比如把数据备份到远程办公室当地。这种方法的备份速度是很快的,你在远程办公室可以选择将删除了重复数据的数据复制到辅助站点来实现恢复,比如使用NetBackup。这种方法的劣势是你必须去管理各种存储设备。

  第二种方法是通过WAN备份。比如你在远程办公室没有backup服务器、backup设备,所有数据必须在源数据端进行重复数据删除,然后再直接备份到数据中心。

  以上这两种方法,第一种方法适合于分支比较大的站点,比如有50台,200台PC机或者再加上几台服务器的环境。第二种方法适合于分支比较小的机构,比如只有10台或15台PC机的公司。不管使用哪种方法都需要管理,尤其是第一种方法对管理的要求更高。用户可以选择使用NetBachup的OpsCenter 实现集中管理。

  成本示例

  下图是NBU 7与重复数据删除硬件设备对比

重复数据删除技术应对数据保护挑战(四)

  很多用户不清楚软件的备份和硬件的备份有什么区别。现在从成本角度看一下,图中我们可以看到使用NBU7比使用硬件设备节省很多,尤其是随着时间的不断推移,节省的将更多。这是为什么呢?因为NBU7可以使用任何磁盘,不限厂家和类型,只要是磁盘就行。所以说NB7在成本上是有很大的优势的。

  NetBackup 重复数据删除技术的亮点

  如图所示:

重复数据删除技术应对数据保护挑战(四)

  Mutual Financial Group(马赛诸塞州的金融集团)

  这个公司的大概情况是这个样子的:

  • 业界领先的人寿保险公司

  • 总部位于美国马萨诸塞州斯普林菲尔德

  • 拥有 150 多年行业经验

  • 在财富 500 强中排名 135

  • 全球员工有 12,000 多名

  这个公司数据保护现状是这样的:

  • NetBackup 是数据备份的标准

  • 保护2300 个客户端(指的是服务器)上的 600 TB数据

  • 每日执行 7300 个备份/恢复作业

  • 借助 NetBackup 实现了 99.994% 的作业成功率

  • 维护着 6.6 PB 的活动备份映像

  MassMutual 数据增长情况(见下图):

重复数据删除技术应对数据保护挑战(五)

  可以看到从2008年开始,这个公司的业务增长迅速,意味着它的数据增长也很快,存在着很大的备份压力。对着这个公司来说,它面临着备份时间长,恢复过程复杂,安全性,成本等挑战。

  因此这个公司决定重新部署备份架构。他们的战略目标如下:

  • 不再将磁带作为传输介质

  • 建立了“始终可用”的 WAN 连接以恢复各站点

  • 提高了 RTO/RPO,缩小了第 1 级磁盘复制的缺口

  • 提供了“始终就绪”的灾难恢复基础架构

  • 提供了操作一致性,即使遇到灾难也是如此

  促进用户做这样的决定有三个主要因素。一是重复数据删除技术与高效的数据复制相结合,二是3 站点 DR 模型,即一级、二级/恢复和数据堡垒,三是经济的 WAN 扩展/优化。

  在用户制定详细的数据备份改造计划时,要考虑到具体的解决方案。是使用普通磁盘,还是具有重复数据删除功能的 VTL?使用支持 OST 的解决方案还是NetBackup 重复数据删除技术?

  用户选择解决方案的标准是希望找到一款在性能、容量、灵活性以及复杂性之间完美平衡,从而每天可以备份45到60 TB全新数据的解决方案。它规定的最低要求如下:

  • 单个数据流吞吐量:100 MB/秒

  • 吞吐总量:1,000-1,500 MB/秒

  • 重复数据删除总量:180-250 TB

  • 重复数据删除最小比例: 20:1

  • 复制:WAN 使用方面高效可管理

  为何用户最终选择 NetBackup 重复数据删除技术?

  NetBackup有以下优点:

  • 可充分利用现有的投资——NetBackup 已经成功地与业务服务级别完美集成。所需的增量设置最少

  • 灵活性:可以选择结合使用任何硬件

  • 集成:一个存储平台

  • 性能:满足日常备份的性能要求

  • 成本:预计在一年半内收回投资

  • 可伸缩性:删除重复数据的容量完全可以扩展到 200 TB

  下图是用户实施NetBackup后的框架图:

重复数据删除技术应对数据保护挑战(六)

  图中有三个站点,每个站点都设置了NetBackup存储池,每个站点通过WAN链接起来,这三个站之间可以互相进行复制。所有的数据都是三份,A、B、C都有一份。那么数据存了三份就会不会浪费存储空间?实际上是不会的。因为有重复数据删除,NetBackup的重复数据删除是全局的,物理上A、B、C中只有一份数据。

  最后看一下用户如何计算他的节约成本,如下图所示:

重复数据删除技术应对数据保护挑战(六)

  经过计算,大约经过1.66年后这套方案的成本就可以收回。

0
相关文章