从集中到分布,化解存储瓶颈
接上篇:从集中到分布,解读网络视频IT架构变迁(下)。集中式存储已经拥有了诸多优势,那么为何这家视频网站最终却选择了其他的存储架构呢?该视频网站究竟在运营过程中遭遇到了什么样的阻碍呢?经过我们对整个网站存储结构的分析,原来,NAS头成为整个存储环境的瓶颈……

NAS成为系统瓶颈

传统集中式存储的瓶颈
从以上两幅图中,我们可以看到传统的集中存储方案中,存在如下问题:
I/O瓶颈
容量扩展性差
性能不可扩展
专业高端NAS成本高昂
单点故障
随着数据量的增加,存储压力也变得越来越集中,NAS已不足以支撑现有的应用,无法更好的应对未来的挑战。既而,该网站从集中式的存储方式转向了采用分布式的存储方式。

分布式存储系统架构
图中,每台服务器上都提供文件共享服务,由应用层来实现媒体资源数据在各个服务器集群之间的迁移,从而比较好的解决了集中存储的IO瓶颈问题,但是问题也随之而来。
分布式的存储没有负载均衡,例如:发生热点的时候、部分流媒体服务器忙或部分闲置
分布式存储利用相对较低率,重复数据大量存在,且份数多
无法实现集中的高Raid 级别保护
快照、备份、恢复、远程容灾比集中存储实现成本高
需要在应用层对存储层过多关注。管理复杂度程几何级增长,整体系统维护工作越来越复杂、繁重。以管理Mount点为例:同样的服务器数,需管理Mount点的数量为48 [M*(N+F)+W*N]个,即上图中的48根红线,远大于集中存储结构。这仅仅是Mount点一项,还不包括各个点存储数据的维护,在实际应用中相关的工作量是相当惊人,管理员疲于奔命。