存储 频道

海量实时新数据,驱动分布式存储成为趋势

  新技术的交织驱动下,新数据元年已经到来,新时代下的数据存储和使用有什么特点?分布式存储为何能助力企业从容应对新数据挑战,引领未来?

  2019年,大数据、云计算、人工智能、物联网、5G……各种新技术名词不再停留在纸面,正在以前所未有的速度扑面而来。在IDC与浪潮联合发布的《2019年数据及存储发展研究报告》中,用了“新数据时代元年”来形容2019年,说明各种新技术交织的威力,也说明数据正在发生前所未有的化学反应。而元年的重要标志之一,是中国数字化转型IT支出在2019年,将首次超过非数字化转型IT支出,占比达到51%。

  

  新数据时代,分布式存储成为趋势

  新时代下数据的形态将会发生诸多改变,而相应的数据存储,则要需要新的基础设施来应对挑战。

  数据存储不止于大,更应实时快速流动和易于管理

  在医院中,患者拿着庞大的片子穿梭在各大科室的情景还历历在目,这是数据无法实时流动的典型。新时代的检测虽然数据量大幅攀升,但在云端存储的支撑下,即使医院再繁忙,医生也可以即时调取查看。如果数据只是简单存储,不能实时调取、快速流动和便于管理,就如还需要患者拿着片子跑那样,无法适应新时代的业务需求。

  在各种新技术的交织下,数据会持续大爆炸已是共识,医院的3D PACS系统(三维医疗影像)会产生海量的小文件并发存储访问只是其中一个小例子。新时代下,由AI驱动的应用数量将会激增到百万级的规模,和其它新技术交织在一起,海量、多元、非结构化将是新时代下数据的新常态。

  

  全球四大类型数据趋势概览,2018-2023年

  据IDC预测,到2023年,企业产生的数据量将超过消费者所产生的体量,占整个数据圈的59.4%。企业数据的海量产生,说明业务的种类和形态正在发生巨变,如何从容应对海量数据、数据实时性和可靠性、数据整合及管理,从海量数据中挖掘价值,就成为最重要的课题。

  海量数据的挑战十分严峻,据IDC数据,2025年全球新创建的数据将达到175ZB,而目前存储下来的数据只有1%左右。预计2018-2023年,全球存储装机容量将以18.4%的年复合增长率增长,其中企业级存储装机容量将达到25.1%的年复合增长率。

  

  全球实时数据趋势预览,2018-2023年

  数据的可靠性和实时性则是IT基础实施建设的巨大挑战,物联网以及人工智能和渗透,如金融的风险评估、交通的自动驾驶等,都需要可靠数据低延迟实时流动。IDC预测,到2023年,实时数据将占全球数据圈24.5%的份额,海量、多元和非结构化成数据常态。

  数据整合及管理的挑战也十分巨大。数据的快速流动需求源自于云、边、端的实时协同,虽然数据的产生更多来自端侧和边缘,但最重要的数据存储位置依然在核心,而边缘产生的数据量具有较高的增速,未来五年复合增长率预计达到33.2%。

  为了直面这三大挑战,企业的IT基础设施将从云+端的两级架构向云-边-端三级架构演进迭代,存储系统则形成了随需应变、软件定义、智能化和多云部署的大趋势。在新时代的需求下,存储系统架构上的变革不可避免,而高效、易于扩展的分布式平台,则有望引领趋势。

  数据存储新基座 分布式存储引领未来

  报告用闪存是数十年来存储介质最重大的突破,来类比分布式平台是系统架构上的重要变革。IDC也预测,到2023年,40%左右的存储系统都将是分布式存储架构。

  

  浪潮分布式存储

  为什么传统集中式存储无法适应新时代的需求?举个智慧交通的例子——成都市不到10条道路的范围内就有超过6,000路视频流业务,每天90TB的视频数据和上亿的张卡口图片,8小时内要完成1亿张图片近10亿次的操作,并能秒级呈现。这种情况下,传统存储的扩展性和数据处理能力远远达不到要求,浪潮分布式存储以小文件聚合、存储自动分层等功能提供了100多个节点共20PB容量,才实现了每天亿级文件数据的并行读写、低延时的要求。

  从这个案例中,可以看出分布式存储的特点——可扩展的架构并将数据负载分散在多台存储系统,既提高了存储效率和数据的安全性,又能在性能和容量的横向扩展上随需应变,解决大规模、高并发场景下的存储访问问题。这种灵活又安全的特性,非常利于面对新时代多变的应用环境。

  同时,随着业务的不断发展,企业通常都需要面对多云环境,而多云环境下的数据治理一直都是痛点。采用标准化的存储容器接口,支持云、核心或边缘部署,是多云环境存储的趋势。浪潮分布式存储可以在一套系统内提供文件、块、对象、大数据等多种存储服务,支持多种接口对接,实现了软件定义存储、智能化管理和多云间数据快速流动。

  传统存储系统会存在高额的人工运维成本,如果不有效应对,在业务数据量和复杂度大幅增加后,这个成本将成为企业沉重的负担。而分布式存储可以充分利用人工智能技术,实现从被动的故障维护转变为主动重建和维护,不但可以提升管理效率降低运维成本,甚至可以对性能需求和容量瓶颈进行预测,从容应对未来。

  

  新数据时代四大特征

  在以5G、人工智能、物联网为首的新技术驱动的新时代,万物智连的数据形态本身就是高度分布式的存在。而随着技术应用落地的进一步发展,其产生的化学反应会加剧,新数据形态、新应用模式和新价值需求会进化得越来越快,企业也将更依赖数据采集、数据分析来提升生产力、开展业务。所以,更能适应大数据分析、视觉计算、多云等场景的分布式存储,其取代传统存储方式是大势所趋。

  在报告中,IDC对企业应对新数据时代带来的挑战提出了三点建议——

  多元部署:数据的产生和存储,都向云-边-端多元部署,企业应及时引入新的存储解决方案。

  多云就绪:多云环境是未来的必然趋势,企业应选择高效的多云环境

  关注新技术:传统的存储正在达到物理极限,并带来成本的挑战,企业应持续关注新技术,比如分布式存储、闪存技术、人工智能运维等,解决弹性、效率、性能和成本等问题。

  这三大建议,都需要分布式存储才能更好地实现。新时代下存储解决方案的选择,其重要性可见一斑,而具备多项优势的分布式存储,则是企业迈向新时代的必由之路。

  报告原文现在免费下载,扫描下方二维码:

  

0
相关文章