存储 频道

F5文件虚拟化在互联网存储架构的应用

  【IT168 专稿】8月28-29日,由澳信传媒旗下IT168、ITPUB社区以及ChinaUnix联合举办的2009年系统架构师大会在北京举行。在29日下午举办的存储分论坛上,F5公司北方区技术经理 应用交付架构师杨明非先生也介绍了F5公司文件虚拟化解决方案在互联网存储架构设计中的应用。


下午存储分论坛会场

  对于互联网企业,由于Web2.0应用体验模式的兴起,非结构化数据量有了较大的增长,实际上,对于大多数网站来说,解决数据库问题可以采用较为成熟的SAN应用模式,而对于非结构化数据的管理则一直没有较为行之有效的管理策略。


F5公司北方区技术经理 应用交付架构师杨明非

  对于网站来说,采用NAS系统管理后台的非结构化数据应该说是一种成本较低也较易扩展的方案架构,但对于这些网站来说,采用了多台NAS同时管理后台大量的非结构化数据时,不可避免的同样带来管理上的混乱,一台一台的NAS设备形成了NAS存储孤岛,尤其当所用的NAS设备可能还是来自不同的厂商的时候,后台管理的复杂性就进一步提高了。 

文件虚拟化之前的NAS存储架构
 
通过文件虚拟化后的NAS存储网络

  那么怎样能够把多台NAS里面的非结构化文件通过统一的文件管理平台进行管理呢,F5文件虚拟化技术就提供了这样的解决方案。

  在一个最典型的文件虚拟化应用方案中,系统中可能已经存在了多台NAS,每台NAS系统中都保存有海量的不同的文件数据。在以前提供的一些开源或者商业的软件解决方案中,都是通过在整体系统旁边提供一台存放文件信息(Metadata)的Master服务器,在该服务器上安装专门的软件来管理MetaData信息。当客户端将要去读/写NAS的时候,首先需要通过安装在客户端上的文件存取代理软件到Master上询问读写的非常好的位置和数据,然后才向指定的NAS设备和节点去读写数据。而F5则是通过专用的硬件设备ARX来处理文件虚拟化,ARX就像一台交换机一样放在多台NAS的前端,通过全局命名空间(Global Name Space)将后台的多台NAS对外虚拟成一台NAS,在这种结构下,客户端不需要安装任何的文件存取代理软件,而后台的NAS也可以是不同厂家的产品,而不限于是某一品牌或者某种特殊的文件系统格式。  


f5在终端与NAS设备之间加入了一层地址映射和路径管理层

  F5的文件虚拟化解决方案在互联网存储架构应用中,可帮助互联网企业降低后台架构的复杂性和降低成本,在传统的NAS存储网络中,前端应用服务器与后端存储介质的存储访问关系非常复杂,管理效率低,容易出错。应用服务器直接访问存储介质,不能对存储介质进行有效管理。

  例如在NAS模式下,如果我们要存储2TB的数据时,而存储网络的所有单台存储介质的容易都没有2TB时,此时,存储系统就没有办法了。在这种情况下,我们就可以在前端应用服务器与后端存储介质之间,虚拟化一个文件管理系统出来,这就是“文件虚拟化”。

  通过文件虚拟化平台,将后端存储介质虚拟化成一个存储池,此时,就可以简单的通过增加一台新的NAS服务器到存储池中,在客户端不进行任何改变的情况下,就可以扩充后台的存储能力存储新增加的2TB数据了。

  此外,F5的解决方案能够管理多个路径同时并发的读写NAS系统,为系统设计非常好的读写路径,从而提高文件读写的效率。例如,以往系统在写入的时候,系统会往单一的有足够空间的NAS设备上写入大量的文件,读取也只能通过这台单一的NAS设备中读取大量文件。这样单台的NAS设备就形成了读写瓶颈和热点。

  经过F5文件虚拟化的路径优化后,系统会根据策略将多个文件写入到不同的NAS设备中,同样读取的时候也可以自动从不同的设备中读取,这样分担了单一设备的流量负载,提高了整体读写效率。

  F5的文件虚拟化设备实际上是提供了一个对客户端的虚拟目录来对应后台多个NAS设备上的不同实际物理目录,而这一过程对于前面用户来说完全透明,对用户呈现的仍然是一个大目录下的不同文件,用户不必去理会后台文件究竟保存在哪一台NAS设备上,因而屏蔽了后台管理的复杂性。

  根据杨明非的介绍,与F5文件虚拟化解决方案类似的方案在业界还有很多,包括开源软件如hadoop、Moofefs或者商业化的解决方案如EMC的Rifinity。但这些解决方案都是通过采用PC Server+服务器软件和客户端代理配合来实现。F5的方案优势在于,将负载均衡的思路引入到了NAS领域,采用专业的硬件芯片处理,通过F5全局命名空间技术,实现NAS文件的统一管理。

  在性能保证上,F5的ARX则通过独有的运算加速芯片实现路径快速查找,极好的保证了文件访问和读取性能,此外,由于F5采用了基于硬件的文件虚拟化方案,对于扩展性方面仅受硬件处理能力的限制,而在芯片制造技术飞速发展的今天,显然基于硬件的文件虚拟化方案能提供“近乎无限”的扩展性。目前采用F5解决方案的性能已经达到了只有在高性能计算中的大型并行文件系统才能提供的性能指标,而F5可以实现更低的采购成本、管理成本和最优化的系统性能。

  另外一方面,当所有的文件存储都通过一台文件管理器来实现的时候,这台文件虚拟化管理设备将变得至关重要,基于软件的文件虚拟化解决方案则更容易产生不可预知的故障,一旦系统宕机,后台所有的文件将不可识别。基于硬件的文件虚拟化解决方案相比软件的文件虚拟化方案来说更为稳定,而一旦系统宕机,只需要切换一下双机冗余系统,或者对后台进行一次扫描,后台数据即可轻松恢复。而在采用软件解决方案时,Master服务器的崩溃或者专用文件系统的错误将会变得极其危险,在最糟糕的情况下甚至可能会导致所有的文件丢失。

0
相关文章