【IT168 上海报道】云计算、虚拟化、绿色,这些如今最热的词语正在改变着我们的生活,也同时改变着IT软硬件的结构。互联网的海量内容的容身之所——各种存储设备也在发生着变革,逐渐向着虚拟存储转变。在这场有如DOS向Windows跳跃的转变过程中,互联网企业是最先行动的,而盛大在线,这家承担着盛大集团对内、对外提供云服务的企业,更是走在了互联网企业的最前列。2010年11月3日,盛大在线公司CTO朱敬向我们讲述了这次存储虚拟化的转变之路。

▲盛大在线公司CTO朱敬接受采访
转型云服务急唤虚拟化
盛大集团对大众来说也是一家耳熟能详的公司,它专注于互联网娱乐及平台服务。盛大在线是盛大集团旗下的核心企业,它不仅要为盛大集团提供各类互联网服务,也承担了为其他互联网企业定制专业化的用户服务体系的重任,是盛大集团对内、对外提供云服务的具体承担者。
“盛大在线现在正在做一个开放平台,不仅仅用于支持集团各种业务,如游戏、文学、视频、音乐、影视以及新开发的无线、旅游业务。这些业务形成的内容有文字,也有视频,还有网盘服务保存的各种文件,这些都对存储有着非常强烈的需求。”

▲盛大在线公司CTO朱敬
朱敬这段话透露出盛大在线目前迫在眉睫需要解决的一个问题,就是如何安全、快速、海量地进行存储。对于一个在雅虎工作8年多,曾经管理过雅虎邮箱的技术和业务的CTO来说,朱敬非常了解邮箱对存储的强烈需求。作为一家正在为集团内部提供平台的企业的CTO来说,他也非常了解整个盛大集团日常业务中产生的巨量存储需求,如盛大每天10亿用户访问量产生的日志和用户行为记录。不管是对外还是对内,这些服务和管理带来的数据都是价值的源泉——前者能直接带来业务收入,后者能通过BI处理,间接提高业务收入。
不过,尽管现在存储设备的价格已经极大降低了,但想要全部容纳这些数据,为存储付出的采购和管理成本也是极为高昂的,尤其是如今使用成本越来越高昂和大容量下检索速度不可避免会下降这两点决定了无法通过无限制增加存储设备的方式扩容,如何提高存储设备的利用率以降低对容量的需求,就成了每个CTO想要努力实现的目标,朱敬也不例外。所以,存储虚拟化,这个如今最可行的办法就顺理成章地列入了他的议事日程。
所谓存储虚拟化就是将实际的物理存储实体与存储的逻辑表示分离开来,应用服务器只与分配给它们的逻辑卷(或称虚卷)打交道,而不用关心其数据是在哪个物理存储实体上。
早期,存储虚拟化多半是主机级虚拟化或存储子系统级虚拟化,但它们不能将多个,甚至是异构的存储子系统整合成一个或多个存储池,并在其上建立逻辑虚卷,以达到充分利用存储容量、集中管理存储、降低存储成本的目的,所以朱敬并不考虑这些两种初级方法,直接将解决方案定位在网络级的虚拟化上。
网络级虚拟化一般认为是真正意义上的存储虚拟化。它能将存储网络上的各种品牌的存储子系统整合成一个或多个可以集中管理的存储池(存储池可跨多个存储子系统),并在存储池中按需要建立一个或多个不同大小的虚卷,并将这些虚卷按一定的读写授权分配给存储网络上的各种应用服务器。这样就达到了充分利用存储容量、集中管理存储、降低存储成本以及远程灾备等的目的。
对于朱敬来说,他的愿景是希望建立一个云存储,只要有一个无限量无限扩容的一个大的容器,把所有存储都能够统一管理起来,按需分配。用户不用了解后面的存储技术到底怎么样,也不用关心具体存在什么位置。他只要说我需要多少存储容量,就可以分配给他多少。而这种愿景,也只有网络级虚拟化才能完成。所以,IBM的SVC进入了他的考虑范围。
三大优点推动定案
当做出存储虚拟化决定的时候,朱敬对它有着明确需求。在采访中他曾提到过:“盛大和很多其它公司一样,有不同时间采购的各种性能和品牌的存储设备。如何将这些设备管理起来,而且以后在扩容和数据的备份方面可以灵活增加,而不是一定要绑定某一家厂商或者某一种存储设备,这是选型时的第一考虑。”因此,IBM SVC成为了朱敬首选的解决方案。
IBM TotalStorage SAN Volume Controller简称SVC。IBM的SVC可以将整个SAN中的各种存储设备整合成一个巨大的存储池,充分利用存储资源并按需分配存储空间、性能和功能。而且,还允许用户横跨不同供应商的多个存储子系统使用一组单一的高级拷贝服务,如 FlashCopy和对等远程拷贝MetroMirror。是目前解决异构存储环境中的信息共享、灾难备份时是最富技术含量和最成熟的虚拟工具之一。
朱敬在采访中谈到为什么看中SVC的原因时谈了三点。其一是SVC非常灵活,可用性非常高。在SVC下面可以挂各种各样的设备,包括新的或者旧的,性能高的和性能差的。这样可以使盛大充分利用原来已有的一些老设备,也为今后扩容提供了很好的灵活性,无需绑定在某个厂商上。其二,SVC在性能和功能方面非常领先。在性能方面,SVC有高达8G的缓存,可以进行性能优化和加速,使得增加虚拟化层后不但不影响速度,还能提高速度。这功能是其它厂商实现不了的。在功能方面,SVC提供的功能很全,包括快照、数据的备份,而且这些功能在业界有非常好的口碑;其三是IBM品牌可靠,它的服务、稳定性,包括售前、售后的这些服务在业界都有非常好的口碑。
另外,数据迁移过程中的平滑也是朱敬考虑的因素之一。他说:“我们不少数据存在一些老的存储设备上,如果我们要扩容,购买一个新的存储后,就会担心这个业务怎么样平滑地把数据从老设备迁移到新的存储上,而且还不能影响对应业务的使用,也不能出现宕机的时间。原先的做法是先在应用层修改程序,在做备份的同时,告知应用层数据存储位置的变更。这其实已经存在一个很大的技术门槛,而且还容易出错,会对业务带来影响。而SVC不需要。它是在存储上增加一层,对应用层透明。SVC管理平台上可以通过配置告知数据的新位置,但应用反正是从SVC这层抓取数据,就无需频频更改应用软件了,而且这一切还是自动的,能根据数据读取情况分派最常用的数据到最快的存储设备上,简单而高效。”
事实上,也不是没有其他品牌进入过朱敬的视线,比如惠普在存储虚拟化方面也有很好的表现和很强实力,但朱敬并不满意。他认为:“惠普的存储虚拟化方面有重要一点是它采取一个服务器,下面有很多缓存的技术架构来做一个虚拟化的平台,我非常担心增加一个层次后会对存储的性能会有很大的影响,因为这是非常容易想象的一个瓶颈。一旦这个节点变成新的瓶颈的话,第一肯定没法挂很多存储,第二购买的高端、中端的存储设备的性能都会打一个折扣。我会考虑在应用层去管理这些东西,而不是通过第三方的商品来管理这部分。所以SVC的架构对我来说才有吸引力。”
当然,为了获得盛大在线的订单,IBM也是不遗余力。IBM系统与科技部销售经理在采访中谈到,他们想将盛大在线作为SVC的一个标杆案例,加之盛大在线和IBM在上海的研发实验室非常近以及IBM希望让专家从后台走向前台,服务更多客户而不止是研发产品,因此IBM实验室服务专家亲自为盛大服务,这也给了朱敬很好的印象。
他在采访中说:“我们做技术的对产品的稳定性要求非常高,因为这是我们最终要负责的,如果我们买入的产品不够稳定以至影响到业务,对技术人员来说就是严重失职。IBM给了我们很好的后备,可以让我们非常放心的采购IBM的产品,保证稳定性、保证性能,如果有什么困惑或者疑问的话,IBM还有非常好的售前、售后的服务。值得一提的是,IBM正好在张江有一个非常好的研发团队,与我们有过很多次交流,包括IBM存储的研发团队曾来盛大解释过IBM在虚拟化设备方面的技术特点和以后的发展路线,这也给我们带来很大帮助。”
最终,盛大在线采购了4个节点的SVC,每个节点配24GB缓存,上海张江和无锡两个机房,类似于两地三中心模式(还有一个机房在南汇),两个地方做灾备。这三个机房目前有6千多台PC服务器,未来还将有很大扩展。SVC从春节后设备开始到位,部署了约半年左右完成。
初步应用,成效明显
目前盛大在线处于SVC管理的数据约有10到20个TB。主要用在日志系统或者是一些非核心的数据库部分。朱敬说,现在盛大还没有把核心数据库的存储挂在SVC上,主要是因为还需要一定时间才能够确保已经非常熟悉SVC的使用。不过在SVC管理下的数据至今为止基本上没有碰到什么问题,而且第三方合作伙伴对盛大在线提供平台地稳定性、性能、容量的可扩展性这些方面的评价也很高。
在朱敬看来,SVC的价值已经体现出来了。一方面,使用SVC后,盛大在线采购新的存储设备已经不用被限定品牌。另外一方面,通过SVC,盛大在线能将读取最多的数据转移到快速的SSD,而将较少用到的数据转移到DIO上,有效地降低了管理成本。
朱敬相信,很多的业务发展非常迅速的公司都会碰到这样的瓶颈,都会碰到类似的难题,他认为,SVC这个平台对于很多的公司都会有所帮助。尤其是对创业性企业来说,他们在实力弱小的时候不用买服务器,不用买存储,只要购买盛大在线及类似网站提供的云服务就能解决问题,减少了创业性企业的风险。谷歌、亚马逊均是如此,提供了云计算、云存储,用最低的成本将他们推销出去。
朱敬认为,中国的很多创业团队非常困难,因为中国创业环境并不是那么好,有很多大的公司已经在这个位置上占了,小团队包括在资金、在人力资源上都会有很大的一个瓶颈。所以盛大如果能够提供各式各样的服务帮助这些创业团队能够做他们所希望推出的这些产品,这对创业团队是非常好的一件事情。他们可以用盛大的服务器,盛大的存储,打造一个最的成本、最快速度的最常性能的产品。而盛大在线也非常希望通过开放平台,通过云计算、云存储这方面的技术帮助到这些创业团队,帮他们实现梦想。
目前,盛大已经提供一些虚拟机和服务器资源给第三方开发团队使用,但现在没做过大规模的推广,所以朱敬也希望通过这些小团队的一些使用,可以帮助盛大完善这部分的技术和产品,然后慢慢往外推。