存储 频道

闪存时代的数据仓库–更好、更强、更快

  【IT168 评论】

  作者:SanDisk闪迪中国区企业级销售总经理Kevin Chen

  每个公司采集的历史数据都包含可提升经业绩的信息,但前提是你必须能够从数据中将它们筛选出来。十年前,美国沃尔玛公司分析了其所采集的数个TB的历史数据,随后发现:在飓风来临之前,蓝莓馅饼的销量会飙升到平时的7倍。得出这个结论后,沃尔玛将更多点心类产品发往飓风可能途经的店铺,从而大幅提高了销量。

  今天,很多公司都拥有数个TB的客户历史数据,但却很难去挖掘这些数据的商业价值。原因何在?——因为复杂性和成本。在寻找简单、低成本的解决方案时,你必须了解一点:即数据仓库的存储系统会影响你获取商业洞见的能力。

  存储数据块

  你的数据仓库可能存有与客户、他们所订购的产品、订购时间等有关的历史数据。当某个员工进行查询时,例如:在本财年最后一个季度期间订购某款产品的所有客户,数据仓库软件将读取大量数据,传统基于机械硬盘(HDD)驱动器的存储系统善于使用较大的相邻数据块存储数据,以便机械硬盘(HDD)以最高效率交付这些数据。

  当你使用新数据,比如上周的销售数额来更新数据仓库时,机械硬盘(HDD)上经过精心优化的数据布局将遭到破坏,数据仓库的性能也将随之降低。一次或多次更新后,性能降低至其接受极限,就必须再次优化机械硬盘(HDD)上的数据布局,以便能让数据重新回到较大的相邻数据块。这个过程被称为碎片整理。

  正如微软公司的Fast Track数据仓库参考指南所言:

  存储系统:对于那些主要使用机械硬盘(HDD)来实现数据库存储功能的FTDW参照架构而言,管理碎片对于提升系统性能至关重要。因此,需要指定一个详细的存储和文件系统配置。

  碎片整理存在的问题

  如果你曾在PC上“整理过”硬盘碎片,你就会知道这并不是一个很快就能完成的过程。数据越多,优化时间越长,对于数据仓库而言亦是如此。在优化期间,数据仓库可能会离线工作,或者性能将大幅下降,这取决于你所使用的SQL Server版本。

  在重新优化数据仓库时,如果你想查看客户上周购买了哪些产品,你必须将上周的销售数据导入到数据仓库中,而且很可能需要让整个数据仓库离线运行,或是体验极慢的响应速度。

  你是否想查看客户在昨天或一小时前购买了哪些产品?这意味着你每天或每小时都需要导入数据,因此需要更加频繁地去优化数据仓库。

  一定有一种更好的方法!它就是:

  闪存施以援手

  上述情况,即停机进行优化——这是为了迎合机械硬盘(HDD)的特点而非使用者的需求或工作流。好消息是此类优化并不适用于闪存。

  正如FTDW参考指南所言:

  “有关页面碎片管理的建议 ……可以被忽略,因为逻辑数据库碎片并不影响固态I/O性能。”

  这意味着你可以导入昨天或一小时前的销售数据,然后立刻使用它们做出决策,无需停机来进行重新优化。

  此外,使用闪存还能提高数据仓库的性能,每天可以让更多的员工向数据仓库提出问题,并获得更多、更好的商业洞察,从而提升你的营业业绩。

  简要介绍闪存经济高效的原因所在

  固态硬盘的性能和速度均优于传统固态硬盘。对于那些需要较高的IOPS或随机存储性能的工作负载而言,数个固态硬盘(SSD)可提供超过20倍[1]的一个机架机械硬盘(HDD)所能提供的性能。这意味着需要购买的硬件更少,所需管理的基础设施更少,要占用的机架空间更少,维护工作和耗电量更少,管理也变得更加简单。此外,固态硬盘(SSD)的冷却成本也低于机械硬盘(HDD)。所有这些优势都能大幅节省成本和时间。

  真实案例

  TekSouth是美国一家商业智能和软件开发公司,为联邦政府、商务和当地客户提供服务。公司负责更新美国空军的指挥资源整合系统(CRIS),即用于管理非保密拨款历史数据的权威数据源,这些数据源将从250个数据流接收更新[2]。

  TekSouth的系统整合了SQL Server 2008 R2和SanDisk闪迪的Fusion ioMemory。借助Fusion ioMemory,TekSouth如今能够支持每日更新及点对点数量查询,其并发查询用户数量也是此前系统的三倍。不仅如此,Fusion ioMemory还能使得TekSouth消除27个阵列共计400多个机械硬盘(HDD),从而实现16:1的空间整合,并将用电和冷却成本降至以前的1/16。

  经济高效的数据仓库关键在于均衡

  为了部署一个经济高效的数据仓库,你需要的是均衡——适当数量的CPU、系统内存、存储空间和网络功能。不能太多,否则就是浪费;也不能太少,否则就会出现系统瓶颈。如何才能确定你正在部署的是一个均衡的系统?微软公司给出了一些建议:

  SQL Server数据仓库Fast Track(DWFT)程序旨在为客户提供标准、成熟的系统架构,这些架构经过优化,能够满足各种企业数据仓库需求。DWFT是微软和众多硬件合作伙伴联合开展的一个计划,其目标是帮助企业客户采用建议的硬件配置去部署数据仓库解决方案,以满足低风险、低成本和低复杂性的要求。

  DWFT程序针对被测系统发布了经过微软验证的参考架构,同时SanDisk闪迪和我们的OEM合作伙伴拥有经过验证的各类系统,能够凭借简约、紧凑且经济高效的数据仓库解决方案满足大多数客户的需求。

0
相关文章