存储 频道

Isilon技术白皮书 :集群存储革命

4 Isilon Systems: 集群存储的领先者

     Isilon Systems® 目前提供了第四代完全分布式的集群存储解决方案,并且无疑是这一新兴类别的领先者。Isilon 屡获殊荣的 Isilon IQ 产品家族包括高性能的集群存储系统,这些系统将智能分布式文件系统与模块化行业标准硬件结合起来,提供非常好的简单性和可扩展性。Isilon IQ是为非结构化数据设计的,专用于数据密集型市场,例如传媒娱乐业、数字成像、生命科学、石油和天然气、制造业以及政府。

    Isilon IQ: 可扩展的分布式文件系统

    Isilon 集群存储解决方案的核心是 Isilon 享有专利的 OneFS® 分布式文件系统。它将三个传统存储架构层——文件系统、卷管理器和 RAID——组合成一个统一的软件层,从而创建了一个智能的完全对称文件系统,该系统横跨集群内的所有节点。OneFS 为大型内容存储提供单一的管理点,更快的大型内容文件访问速度,与生俱来的高可用性,轻松扩展单个集群的容量,最高可达每秒 10 GB 的总吞吐量以及数百 TB 的容量,所有这一切都来自单个网络文件系统。

    OneFS 只对横跨集群内多个存储节点的文件和元数据进行块级拆分,较之对横跨单一存储设备或卷内的单个磁盘对内容进行块级拆分的传统方法而言,这是一个改进。

    这种完全分布式方法使 Isilon能够提供前所未有的性能、可扩展性、可用性和可管理性。

    OneFS 使每个节点知道整个文件系统的布局以及每个文件和文件不同部分的驻留位置。访问任何独立节点都可以让用户获取某个统一命名空间中的所有内容。

    这意味着没有卷和共享,没有硬性的卷大小限制,重新配置或扩展存储时不会停机,而且无需管理多个网络驱动器。 相反,OneFS 为用户提供了管理单一 NAS 存储的便利性和简单性,而且其可扩展性、性能和灵活性都要胜过 SAN 系统。

    Isilon IQ: 对称架构

    每个 Isilon IQ 集群包括 3 到 96 个 Isilon IQ 节点。每个模块化的独立 Isilon IQ 节点包括磁盘容量以及强大的存储服务器、CPU、内存和网络,所有这些都在一个独立、小巧的 2U 架装式系统中。在向集群添加其他的 Isilon IQ 节点时,集群的所有方面都会对称扩展,包括容量、吞吐量、内存、CPU 和网络连接。Isilon IQ 节点自动配合工作,利用它们的合力形成一个统一的存储系统。该系统可以承受任何硬件组件故障,包括磁盘、交换机甚至整个节点。

    在完全分布式架构中,各节点与集群中的所有其他节点保持同步非常关键。 Isilon IQ 存储节点使用千兆以太网或高速低延迟 Infiniband 交换结构,进行集群内通信、同步和所有集群内部操作。这使得每个节点都能与系统中的所有其他节点共享信息,因此每个存储节点都是一个完全连贯的对等体,完全了解其他节点正在做什么。

    OneFS 使用分布式锁定管理器、连贯缓存和远程数据块管理器使节点保持同步,其中远程数据块管理器可在整个集群中保持全局连贯性。正是各节点的这种全局连贯性消除了访问文件系统时会遇到的任何单点故障。集群中的任何节点都可以接受读/写请求,而每个节点都将呈现整个文件系统的相同统一视图。集群中的所有节点均为“对等体”,因此系统完全对称,消除了层次结构和内在瓶颈。

Isilon IQ: 固有的高可用性

    传统文件系统利用主从关系来管理多个存储资源。这些关系具有内在的相关性,并形成了存储系统内的故障点。确保数据完整性和消除单点故障的唯一正确方法是使集群中的所有节点成为对等体。由于 Isilon IQ 中的每个节点都是一个对等体,因此任何节点都可以处理任何应用服务器发出的请求,从而提供所请求的内容。如果任何一个节点发生故障,其他任何节点都可以替代它,因而消除了所有单点故障。

    多故障支持;使用 Isilon IQ,即使损失多个磁盘或整个节点,客户仍不会失去对任何内容的访问权。OneFS 少有的 FlexProtect-AP 功能采用了 Reed Solomon ECC(纠错码)、奇偶校验块级拆分(从 n+1 到 n+4)以及横跨集群内多个节点的镜像文件块级拆分(从 2x 到 8x)。这些策略可以在任何层面上设置,包括集群、目录、子目录甚至单个文件。此外,还可以随时通过简单的Web 用户界面更改这些策略——即使系统正处于工作过程并完全可用时。使用 Isilon,所有文件皆在集群内的多个节点中进行块级拆分,没有一个节点会存储任何文件的全部内容,并且如果某个节点发生故障,集群中的其他所有节点仍可以提供该文件的全部内容,而不会中断。

    举例来说,Isilon 的“n+2”双 ECC 纠错在单一集群和文件系统内最多允许磁盘或整个节点同时出现两个故障。每个文件皆在集群内的多个节点中进行块级拆分,其中每个数据块有两个奇偶校验块级拆分。与“n+1”单奇偶校验不同,如果此次重建过程中出现了第二个故障,所有数据仍全部可用,因为最初已通过双重 ECC 保护对数据进行了块级拆分。相反,如果同样的情形发生在使用RAID5 的传统系统中,则将造成数据丢失,而且无法恢复。Isilon 工程师估计,n+2 RAID 的平均故障间隔时间 (MTBF) 比单奇偶校验 RAID 的长 100 倍。现在,想一想 Isilon Systems 的这种功能最高达到“n+4”,使得任何集群存储系统均可以承受驱动器或整个节点的四个同时故障,这是比较独特的,由此你就会明白 Isilon Systems 为何被视为市场上可用性最高的解决方案了。

    Isilon IQ 是为集群架构中的单一文件系统提供这种数据保护水平的唯一集群存储解决方案。

    业界领先的驱动器重建:如果出现故障,OneFS 会自动横跨集群中的所有现有分布式可用空间并行重建文件,这样便无需使用大多数传统存储架构所要求的专用“奇偶校验驱动器”。OneFS利用集群内所有节点中的全部可用空间来重建数据,从而充分利用集群的优点。通过利用这些可用空间以及集群的多个处理器和计算能力,数据重建速度可比传统架构加快五到十倍。

    对存储系统的数据可靠性而言,存储系统从故障磁盘驱动器重建数据所需的时间非常关键。对于传统存储系统,重建过程已经占用了很多时间;随着硬盘密度进一步提高(目前每个驱动器为500GB),这一态势不断恶化。随着 TB 级磁盘的出现(预计在接下来的 24 个月内)以及所创建的单个卷/文件系统越来越大,传统存储系统最多将需要 24 小时或更长时间才能从磁盘故障中恢复。在此期间,此类传统存储系统很容易出现其他的磁盘故障,这将造成数据丢失和停机。

    由于 Isilon IQ 是以分布式架构为基础构建的,因此它可以充分利用集群内的所有磁盘和硬件,以便重建故障磁盘的数据。由于 Isilon IQ 不受任何特定磁盘的速度约束,因此 Isilon 的系统可以极快地从磁盘故障中恢复。

    Isilon IQ 集群内的磁盘故障可在一两个小时内重建,具体取决于驱动器密度。要重建单个故障磁盘驱动器,光纤通道和 SCSI 磁盘需要花费 8 个多小时,其他 ATA磁盘驱动器则需要 8 到 24 小时不等。与它们相比,Isilon 架构的优势显而易见。通过提供行业领先的驱动器重建时间,Isilon IQ 提供了更可靠的存储系统,同时该系统更灵活,并且不易发生多故障情形。

    自我修复功能:OneFS 持续监控所有文件和磁盘的运行状况,并在每个驱动器上保存可用智能统计信息(例如可恢复的读错误)的记录,以预测该驱动器会在什么时候发生故障。如果OneFS 发现有风险的组件,它会抢先将数据迁出“有风险的”磁盘,并以自动且对客户透明的方式将数据移到集群中的可用自由空间。数据重建后,在实际故障发生之前,通知用户维修可疑驱动器。客户可以放心,使用此功能,今天写入的数据将百分百可靠地进行存储,每个位都是正确的,且在需要时随时可用。目前,没有任何其他集群解决方案能够提供这种水平的数据保护可靠性。

    Isilon IQ: 单一管理层;Isilon IQ 为集群内的所有内容创建了一个共享池,因而为用户提供了一个访问点,为管理员提供了一个管理点。如今,Isilon 已经过测试,能够支持高达 1,000TB (1PB) 的单个网络驱动器。Isilon IQ 集群一旦建立,用户便能够连接任何存储节点,并安全地访问集群内的所有内容。这意味着要连接的所有应用程序之间只有一种关系,每个应用程序均能了解并访问整个文件系统中的每个文件。

    作为一个分布式文件系统,OneFS 消除了自产自用的服务器连接存储,使资源的高效查看、共享和分配有了显著改善。用户对之前不可访问的内容享有即时访问权,而当容量需要增加时,管理员能够以动态方式添加和重新分配内容。其结果是,新业务应用的部署速度更快,并能访问和共享网络中任何地方的任何内容。

    OneFS 的主要优点之一是:有了它,用户可以轻松增加 Isilon 集群的性能和容量,而无需停机或更改应用程序。系统管理员只需要插入新的 Isilon IQ 存储节点,然后连接网络电缆并将其打开即可。集群会自动检查新添加的存储节点,并开始将其配置为集群的一员。在不到 60 秒内,用户便可以增加可用容量并把单个文件系统扩展数 TB。

    Isilon 的独特模块化方法提供了一个模块化的“按需购买,渐近升级”解决方案,这样客户就不用被迫预先购买大于需求的存储容量。与现有系统不同,Isilon IQ 的模块化设计还使客户得以将新技术纳入同一集群,例如为节点添加高密度的磁盘驱动器或更多的千兆以太网端口,以实现更高的性能。

    最后,OneFS 能够自动执行多个高级功能,而在传统存储解决方案中,这些功能需要大量的手动操作。Isilon 的 AutoBalance 和 SmartConnect 功能便是其中的两个高级功能。

    AutoBalance:在系统管理员添加新的存储资源后,下一个步骤通常是将现有存储设备中的内容手动迁移到新设备中,以便均衡资源之间的容量。Isilon IQ 在扩展时自动迁移内容,彻底消除了中断企业应用程序的必要性。使用其 AutoBalance 功能,可在 60 秒内将新的存储节点添加到Isilon IQ 集群。节点打开、网络电缆连接后,AutoBalance 通过集群的互连后端交换机,立即着手将现有存储节点中的内容移至新添加的节点,在集群的所有节点中重新平衡全部内容并实现最大的利用率。

    SmartConnect:OneFS 的另外一个自动功能是 SmartConnect。SmartConnect 功能支持存储节点间的客户端连接负载均衡、动态 NFS 故障转移和客户端连接故障恢复,以非常好的地利用集群资源。由于无需安装客户端驱动器,管理员能够轻松管理庞大而且数量不断增加的客户端,即使遇到系统故障也可以放心,读写操作将会成功完成,且不会失败。通过提供单一虚拟主机名,SmartConnect 使 IT 管理员能够轻松管理客户端连接。SmartConnect 采用智能策略(即 CPU使用率、连接数、吞吐率)来简化连接管理任务,方法是根据已定义的策略在集群内自动分布客户端连接,从而实现性能的最大化。

    Isilon IQ:线性性能可扩展性

    OneFS 的主要优点之一是:有了它,用户可以近线方式轻松增加 Isilon 集群的性能和容量。见下图。与从物理磁盘层面上在 RAID之下进行通信的其他存储系统不同,OneFS 直接控制文件在磁盘上的非常好的布局,并显著改善了磁盘子系统在传输数据时的性能。每增加一个 Isilon IQ 存储节点或Accelerator 均可以增加内存。


 

0
相关文章