大数据时代 集群存储与Hadoop异军突起
大数据(big data)，目前业内并没有一个明确的定义，其通常是指企业或组织创造的大量的结构化数据、半结构化数据和非结构化数据，企业或组织很难用传统的分析方法来对这些海量数据进行处理。在这其中，业内普遍认为非结构化数据占据了企业数据的80%，这些海量数据给企业的数据分析处理以及存储带来了极大的挑战。
虽然大数据给企业IT带来了前所未有的挑战，但其中所蕴含的价值与商机却让诸多企业“眼红不已”，竞相争做“第一个吃螃蟹的人”。由此集群存储和Hadoop应运而生，被业内认为是大数据时代的非常好的工具。
集群存储异军突起
随着整个IT领域技术的飞速发展，很多以前的新技术、新架构，如今面临淘汰甚至已经消失在技术发展的浩瀚长河中;而今天的很多新技术，还将面临同样的命运，存储领域的技术更迭相比其他任何一个领域都表现的格外明显。
存储领域的关键技术SAN和NAS架构如今也已经有了近20年的发展历史，并从十年前开始取代DAS成为企业存储的主流标准架构。然而，SAN和NAS平台本质上是对 DAS 的改进，并未突破传统存储技术的瓶颈，传统存储架构依然存在根本性的体系结构缺陷。如高可扩展性、管理难度、安全性和可靠性等方面的局限使之很难应对大数据所带来的挑战。而集群存储的诞生，使得企业IT“重见光明”。
集群存储是指：由若干个“通用存储设备”组成的用于存储的集群，组成集群存储的每个存储系统的性能和容量均可通过“集群”的方式得以叠加和扩展。通过模块化的硬件使得集群存储具备开放式架构(高可扩展性)、分布式操作系统、统一命名空间、易于管理、负载均衡以及高性能等优势。
利用集群存储的这些特点可提高并行或分区I/O的整体性能，特别是工作流、读密集型以及大型文件的访问，通过采用更低成本的服务器来降低整体成本。并且得益于英特尔在存储标准化方面的大力推动，标准化的硬件平台使得集群存储系统架构成为可能，并使之规模化。运算能力已经不弱于RSIC小型机的X86提供了较高的计算密度、较低的成本和功耗、以及简单灵活的管理，使得基于X86平台的集群存储在应对大数据等规模化存储需求时具备不可比拟的成本优势。
▲初志CZSS集群存储系统架构
在目前市场上，众多中外厂商均已加入进来，如在块级集群存储方面，有基于网格架构的IBM XIV集群系统、3PAR Inserv-T800集群存储系统、EMC Symmetrix V-MAX集群存储系统以及Dell EqualLogic 虚拟化存储系统。在文件级集群存储系统方面的厂商或产品就更多了，如HP Ibrix集群存储系统、华赛 N8500集群NAS系统、中科院计算所 BWStor 蓝鲸集群存储系统、初志 CZSS 集群存储系统、昆腾 Stornext集群存储以及被业内所熟知的EMC Isilon 集群存储系统等等。
目前，集群存储已经在国内的某些特定商业领域得到了成功应用，如能源、科学、广电、娱乐等。在这些行业中，客户需要存储系统的功能、特点能够适应其业务应用环境，并且不能影响过去的投资，更重要的是不能影响整个业务的运作。因为集群存储可以在底层为用户应用提供强大的支持，所以当用户真正理解了其概念和优势后，是非常容易接受的。
与欧美市场相比，中国市场受到传统或比较陈旧的系统架构的阻碍相对较少，因此中国市场能够比西欧或美国市场更易接受集群存储。而在目前数据量剧增、数据流通频繁、企业/组织高管越来越倾向于对数据进行分析后的结果来作出决策的情况下，集群存储无论是在性能、可靠性还是成本等方面，均是有力的竞争者。
