智慧时代,数据量激增且非结构化数据的占比逐渐增大,数据类型愈发复杂,处理数据的方式更加多样化,传统单一存储难以满足市场需求。基于此,浪潮推出了非结构化数据融合互通新平台分布式融合存储AS13000。
■ 为什么需要多协议融合互通?
随着云计算、大数据、AI技术的高速发展,数据的处理方式越来越多样化,在自动驾驶、天文观测、基因测序等场景下,一次数据处理过程通常涉及文件、对象、大数据多种协议的数据存储和访问方式。
天文观测数据处理流程
以天文观测场景为例,一次完整的天文观测数据处理涉及到数据采集、数据预处理、数据分析和成果保存四个步骤,不同阶段使用了不同的访问协议。传统分布式存储仅支持单一协议访问,即客户需要同时部署多套存储系统,并且不同协议处理时,需要进行数据转换和拷贝,造成存储空间浪费和存储成本增加的同时,极大程度降低数据的处理效率。
■ 协议互通:高效、安全、便捷、低成本存储
多协议融合互通既是时代产物,又是时代的成就者。浪潮分布式存储AS13000基于对非结构化数据协议(NFS/CIFS/HDFS/S3)的研究,通过持续技术创新和技术突破,打造出非结构化数据融合互通存储新平台,为用户提供更高效、更安全、更便捷、更低成本的数据存储服务。
非结构化数据融合互通存储架构
■7大技术突破,助力分布式存储变革
其一,存储资源融合互通,数据全局共享
AS13000分布式融合存储平台构筑了全局统一存储资源池,数据及元数据均统一管理,不同协议(NFS/CIFS/HDFS/S3)共享共用,且创建的文件、数据及元数据仅保存一份,有效减少数据重复存储成本。
其二,多协议融合互通,数据零拷贝
根据传统NFS、CIFS、HDFS和S3存储协议的特点,AS13000分布式融合存储平台设计出统一的存储架构。协议层无需数据转换和拷贝、安装网关或插件及在计算侧或应用层改造,即可直接原生语义无感接入,大大提升数据处理效率。
其三,原生语义支持,语义零损失
语义损失是导致传统协议互通方案无法商用的主要原因。文件、HDFS和对象服务由于使用场景的差异,每种服务都有各自独立的语义,如文件的快照、对象多段上传及HDFS Ranger鉴权等。传统协议互通方案由于存储架构和元数据管理不统一,无法实现各协议完整的语义支持,通常需要上层适配修改,造成语义损失。浪潮分布式融合存储平台AS13000在统一存储架构上实现多协议的统一元数据管理,支持各协议原生无损语义访问存储系统,应用无感接入。
其四,权限互通,多协议权限联动
由于文件、对象、HDFS协议权限管理方式各不相同,传统协议互通方案权限管理较为混乱,无法做到权限互通,给用户访问带来极大的不便和困扰。
AS13000针对Windows用户、Unix用户和对象用户的不同访问形式及隔离限制,设计出用户映射机制,实现不同类型用户权限共享,打破不同类型用户之间互相隔离的壁垒;提炼出统一的权限管理架构,统一管理非结构化数据权限。可以做到一份数据,一份权限信息,一种协议修改权限,对其它协议同时生效,真正做到了权限实时联动。
其五,冗余保护,数据安全可靠
AS13000支持更全面的数据保护策略,提供跨节点、跨机架、不同级别的数据冗余保护,用户无需担心宕机、掉电等意外故障带来的数据丢失风险。同时支持数据副本、纠删冗余策略,能够实现数据及时快速恢复,提高数据可靠性。
其六,数据分级存储,降低存储成本
随着数据的爆炸式增长,单一形式的存储已经无法满足用户高性能和低成本的需求。AS13000提供灵活的分级策略,将数据按照设定的策略和热度分别存储在高性能存储介质和相对低成本的存储介质中,合理利用存储空间,降低存储成本,快速响应用户的数据存储需求。
最后,特性级互通,高效便捷
凭借统一的特性架构和操作接口,实现特性级互通,对外提供统一的增值特性服务,如统一配额、统一QoS、统一分级存储、统一回收站、统一元数据检索。设置后,对NFS、CIFS、S3、HDFS等多种协议即时同步生效。
浪潮分布式融合存储平台AS13000通过多年的持续技术创新,以一份数据支持多种协议访问,实现了非结构化数据融合互通,在提升数据处理效率的同时降低了存储购置和运维成本,做到语义无损、数据零拷贝、权限联动、应用无感接入。全面加持数据保护策略,助力企业数字化转型,加速释放数据价值。
