存储 频道

全闪存时代,我们愈发需要分层存储

  【IT168 编译】分层存储已经有十多年的历史了。几年前,在引入SSD的早期阶段,业界多采用将SSD的闪存性能与HDD的低成本相结合的方式,这使存储分层的受欢迎程度达到了顶峰。然而,随着闪存成本的下降和SSD容量的增长,越来越多的企业转向全闪存,多层系统似乎变得不那么受欢迎。

  而到了今天,我们有了多种不同类型的SSD,性能和成本水平各不相同;一系列SSD闪存接口,从高带宽、低延时NVMe到低带宽、高延时SATA;以及下一代存储级内存技术。在这种情况下,因为企业的目标是充分利用所有这些新技术的成本和性能优势,存储分层正在重新走上舞台。

Photo by panumas nikhomkhai from Pexels

  分层的进化

  存储分层是一个基于策略的引擎,它将数据价值匹配到合适性价比的存储层。随着数据年份和访问频率的下降,它将失去价值,从性能更高、成本更高的层(如SSD)转移到性能更低、成本更低的层(如HDD)。

  研究表明,大部分数据访问往往是在数据创建后的前72小时内,之后会稳步下降。通常情况下,30天后的访问数量会急剧下降。也有例外,但这是一般的情况。自上次访问以来的时间、自上次修改以来的时间和自创建以来的时间是与存储年份相关的常见分层策略。

  存储分层软件通常根据策略阈值放置或迁移数据。性能更高、成本更高的存储层保留给最高值的数据。数据在冷却时从主要的性能层迁移到较低的性能层。而且,由于可以由SSD、性能型HDD和容量型HDD组成多个层,因此可以多次迁移数据。

  随着闪存成本的下降,闪存SSD和高速HDD之间的成本差异已趋于消失。此外,SSD容量增长迅速,许多存储系统已升级成为全闪存,因此多层存储系统不再受到广泛欢迎。

  但随着MLC、3D MLC、3D TLC和3D QLC等不同类型闪存SSD的出现,存储分层的情况也发生了变化。随着每个Cell中可存储的bit数的增加,性能和寿命都会下降。这些差异导致制造商推出了大量不同的闪存SSD。每种方法在延迟、IOPS、吞吐量、容量、寿命和成本方面都有不同的侧重,它们彼此之间有很大的不同。

  以最新的高容量、低成本3D QLC SSD为例。由于3D QLC SSD的磨损寿命仅为TLC SSD的十分之一,仅为MLC SSD的百分之一,因此不适用于写密集型应用。对于那些对磨损寿命没有影响的读密集型应用程序,它们要好得多。存储管理员再一次面临着管理不同价格、性能的存储层的难题。

  此外,还有不同的闪存SSD接口可供选择,从高带宽、低延迟NVMe到低带宽、高延迟和低成本SAS,再到更低带宽、更高延迟和最低成本SATA。由于这些接口同样会影响性能和成本,因此即便是全闪存系统,如今也不止一个存储性能层。

  存储级内存层

  基于存储级内存(SCM)的下一代SSD——包括傲腾3D XPoint、电阻式RAM(resistive RAM)、自旋转移力矩RAM(spin-transfer torque RAM)、纳米RAM(nano-RAM)和磁阻RAM(magnetoresistive RAM)——正在带来另一个新的存储性能层。与闪存相比,SCM SSD具有更低的延迟、更高的IOPS、更大的吞吐量和更长的使用寿命。大多数也在走NVMe接口路线。然而,SCM的成本远远高于现有的存储技术。

  今天,在不超出存储预算的情况下,如果要充分利用各种闪存和SCM SSD的优势,需要使用存储分层。最有效的方法依赖于人工智能机器学习的最新进展,该技术能够适应不断变化的环境,并充分利用不同的性能级别。存储层可以是外部存储系统、软件定义的存储或单独的存储应用程序的一个组成部分。

  关于云存储

  还有一个存储分层问题:公有云存储和私有云存储变得越来越重要,但高效、低成本的云存储分层并不容易。问题是如何低成本地、有效地将数据从高成本的数据中心存储转移到更低成本的公有云或私有云存储。

  不同存储类型、供应商、技术和云之间的分层——称为系统间存储分层——有其独特的挑战。最流行的方法是使用分层存储管理(HSM)技术,云存储网关、存储系统和软件定义存储仍然使用这种技术。但该技术是为LAN环境而设计的,而不是云,尤其不是为公有云存储而设计的。

  HSM是基于存根的。从一个系统迁移到另一个系统的数据将从原始系统中删除,并由一个小存根替换。当访问该数据时,实际上是对存根的访问,存根从当前存储空间中检索数据,并将其重新“水合化”到原始存储中。当在云中使用时,HSM速度慢且成本高。每次将数据重新水合到原始的快速主存储中,云计算的费用就会迅速增加。虽然云存储本身可能相当便宜,但是使用HSM所涉及的出口费用可能会非常昂贵。

  然后还有存根脆弱性的问题。如果数据第二次被迁移到另一个存储库,HSM存根就会崩溃,因为它找不到数据,从而造成另一个问题。

  存储分层的新方法

  当将分层与公有或私有云存储相结合时,主要关注的是非结构化数据。IDC调查显示非结构化数据占在组织所拥有数据的80%左右,年增长率约为结构化数据的三倍。大多数新的搜索和分析工具也针对非结构化数据。

  将存储分层与AI机器学习技术结合——这种现代的分层存储方法被称为数据管理或自主数据管理。数据管理分层软使用管理特权安装高性能的全闪存SSD文件或对象主存储系统。这使得分层软件能够读取数据,并根据存储分层策略将数据复制到公有或私有云存储中,同时插入一个全局命名空间,全局命名空间使数据迁移对用户和应用程序透明。数据在其所在位置读取和访问;不需要再水合化,可以从原始存储中删除。

  还有一些数据管理产品位于快速SSD存储和公有或私有云存储的前端,看起来就像一个开关。这种方法既适用于结构化数据,也适用于非结构化数据。

  很明显,在这个高存储性价比需求激增的时代,智能、自主存储分层已成为了一个必需品。

  原文作者:Marc Staimer

  原文链接:https://searchstorage.techtarget.com/tip/Why-storage-tiering-is-necessary-now-more-than-ever

0
相关文章