从被人遗忘到重获新生
在早期的主存储优化应用中,使用的容量优化技术是数据压缩,关键算法采用的都是压缩效率和速度都非常好的LZS算法,其实现也主要是以软件方式集成到系统中,利用主CPU来完成所有处理。
随着计算机应用的日益广泛,各种不断丰富和发展的应用对性能要求越来越高,系统处理能力逐渐成为瓶颈,基于软件的数据压缩因为需要消耗大量的CPU资源而被逐渐边缘化;与此同时,硬盘技术取得了长足的进步,硬盘/主存储的容量不断增长的同时,价格也迅速下降。硬盘/主存储优化应用也就逐渐淡出人们的视线,Microsoft也最终在Windows XP中取消对这项功能的支持。
在数据缩减技术在次级存储优化(SSO, Secondary Storage Optimization)应用中大放异彩的时候,我们发现,尽管当前的技术还不能直接满足主存储的要求,但毫无疑问,这样的技术同样可以给主存储带来巨大的效用和好处。
随着应用的不断丰富,存储系统对主存储的容量需求一直在急速增长,其速度明显超过磁盘系统的技术进步;另一方面,由于操作难度和应用对时延的较高要求,主存储内有大量数据相对比较陈旧,并没有迁移到次级存储中去,调查显示其比例甚至高达80%~90%。
目前,数据中心主存储容量的利用率一直维持在很高的水平,面对不断提高的增长压力,与购买新的存储设备相比,通过主存储优化挖掘现有存储资源的潜力在目前较为严峻的经济形势下显得尤为必要。
另一方面,存储介质之外的支出越来越成为关注的重点。对很多数据中心而言,空间占用、电力消耗,还有散热,可能比存储容量更难以管理,有时候甚至不是仅仅增加支出就能解决的——主存储优化是“绿色存储”的一个重要选项。
而且,在前面的分析中我们都都没有论及实际的存储容量。在实际的存储系统中,将50TB缩减为10TB所带来的好处,远非将5TB缩减为1TB所能比。随着业务的发展,企业和数据中心管理的数据将迅速从数TB增长到数十TB,简单增加存储容量除了介质本身的支出外,还会给备份/归档等等日常管理带来极大挑战。
此外,有效减少主存储的数据量后,系统I/O单元的利用率将明显改善,从而提高系统性能;如果需要远程数据传输,网络带宽的利用率也将显著提高。