登录 / 注册
IT168存储频道
IT168首页 > 存储 > 存储资讯 > 正文

十倍性能浪潮SDS提升广电非编场景效率

2017-05-02 09:27    it168网站 原创  作者: 厂商投稿 编辑: 谢涛

  【IT168 资讯】在这个高清观剧的时代,很多省级电视台已经全面实现高清化,并逐步的向地市级电视台蔓延。高清化的蔓延对非线性编辑系统(简称“非编”)存储提出了更高的要求,也在考验着存储厂商的应变和扩展能力。针对非编应用,浪潮软件定义存储AS13000进行了技术优化,实现十几倍的性能提升。


▲十倍性能提升:浪潮非编存储优化技术解析

  浪潮存储迎接非编存储挑战

  据悉,广电非编的存储IO特征为恒定带宽和低延迟,并且目前电视台等领域的非编业务大都是基于文件接口,所以NAS(Network Attached Storage , 网络附属存储)就成为非编存储主要应用之一。其具备多台工作站共享素材库、协同编辑,平均分配存储空间和均衡传输速度,完整的数据资料保护,简单易用以及超高性价比等优势。

  然而,非编对存储性能、带宽等方面的高要求也是业内人士的共识。首先,非编系统是对连续的视频流的编辑,所以对存储系统带宽的连续性、稳定性要求很高。另外,由于在进行非编修改、加工和保存时,多个工作站会同时访问业务数据,这就需要存储系统要具备足够好的并发能力。

  非编系统,需要存储具有处理高并发数据的能力

  针对非编系统高并发、高性能的需求特性,浪潮开发/优化了软件定义存储AS13000的 NAS 服务层的并发调度机制,实现其 NAS 服务层针对客户端、文件级别的并发控制。首先,系统通过多路视频负载均衡分配,实现了基于文件哈希的负载均衡分配机制,把多路视频IO均衡的分配到处理线程池。其次,系统实现了多线程IO队列每线程具备IO队列机制,可以把视频(文件)的IO请求在队列中有序处理。


▲浪潮软件定义存储AS13000


▲浪潮存储系统并发调度优化示意图

  同时,针对高并发压力下数据处理容易卡顿,导致客户端重连的问题,系统通过流控过载恢复机制,实现了存储层压力降低后自动恢复机制,避免连接断开故障。此外,系统还增加了性能维测框架,以便于工作人员实时观测队列、负载、延迟等信息,为调试、优化提供帮助。

  其一,IO/缓存双管齐下 浪潮SDS提供单路存储优化

  在优化系统整体并发、负载能力的同时,浪潮还对软件定义存储AS13000单路存储的性能进行了深度优化。一方面,浪潮设计开发了存储接口层的缓存 QoS管理机制,实现文件级别的读写缓存控制,保证单路视频的性能。另一方面,通过系统缓存QoS,软件定义存储AS13000实现了读写分离的缓存池、动态内存配额管理、内存批量申请/回收等缓存管理机制,实现缓存的有效管理和调度。

  其二,浪潮SDS提供低延迟高均衡IO控制优化

  在存储IO接口控制方面,系统建立了文件级数据组织结构,实时拆分、汇总所有数据读写对象到各独立的文件IO队列,隔离IO干扰,实现视频文件识别与分流。同时,系统读写请求处理由原来的同步机制,改为异步机制,降低延迟。此外,针对视频行业的连续写入存储特点,系统对数据写入过程进行了优化删减,直接形成缓存对象,降低写入延迟。系统还建立了脏数据刷新机制,定时遍历刷新所有的视频路文件的脏数据,均衡写缓存占用。

  针对非编存储行业文件大、连续读写、高并发等特点,浪潮对系统数据预读机制、算法也进行了改进。首先将系统原有的无限制预读机制改为额定速率预读机制,实现读性能恒定。其次,优化预读算法LRU,解决非编视频文件大、内存相对少造成的预读过度的情况(预读无效,超时释放),避免二次预读,保证所有文件的数据缓存。

  其三,均分配少干扰 浪潮SDS提升缓存管理能力

  在缓存管理方面,系统建立了视频文件级别、读写分离的缓存池机制。同时,通过动态内存配额管理机制,系统实现了对全局缓存动态的控制,以将缓存均衡分配给每路视频文件,做到每次IO实时计算和控制,屏蔽各路视频之间的性能干扰。此外,针对部分申请和释放频繁的数据结构,系统还建立了内存批量申请/回收机制,对这部分数据进行批量申请和回收管理,降低延迟。

  优化之后,十倍性能提升

  经过优化,浪潮软件定义存储AS13000在非编应用中的性能得到了大幅提升。实测数据表明,3台4U 36盘位AS13000组成的非编存储系统,在码流已经达到了高清所需的15MB/s,其恒定读写达到项目指标预期,部分极限读写性能甚至达到项目指标的两倍以上。


▲优化后实测数据与项目指标对比

  浪潮工程师胡振表示:“通过对于广电非编业务需求的深度洞悉,以及存储技术的积淀与创新,使得浪潮能够对于软件定义存储AS13000进行卓有成效的优化,帮助电视台应对4K乃至8K时代对于非编存储的挑战。浪潮将继续植根于广电行业,针对广电业务的特殊需求对于存储产品进行持续优化,、满足视频采集、制作、渲染、分发等各个流程的需求,提供坚实的数据能力支撑。”

  • IT168企业级IT168企业级
  • IT168文库IT168文库

扫一扫关注

行车视线文章推荐
首页 评论 返回顶部