【IT168 现场报道】2015年4月16-18日，由国内领先的IT专业网站IT168联合旗下ITPUB、ChinaUnix两大技术社区，举办的第六届中国数据库技术大会(DTCC2015)在北京新云南皇冠假日酒店开幕。DTCC是面向全国范围技术大师们的技术盛宴，被称为数据库领域的"拉斯维加斯"之夜!
今年是中国数据库技术大会第六个年头，大会将继续秉承分享IT非常好的应用实践的宗旨，围绕传统数据库和大数据两条技术主线，在目前IT技术和管理快速的大背景下，更加深入地探讨数据库技术的现状和未来的发展方向，以及我们在这个转型过程中的实践经验和教训。
18日下午，京东商城云平台系统技术部高级架构师桂创华出席“存储与文件系统”专场，以《京东文件系统：从2013到2015》为主题，与大家分享介绍了京东的技术团队是如何研发逐步完善其自主研发的分布式文件系统JFS (Jingdong File system)。
▲京东商城云平台系统技术部高级架构师 桂创华
拥有一亿用户、营业规模达数百亿元的大型网络零售企业京东(JD.com)，在网络零售市场深耕近十年之后，也正式迈入了PB级数据管理的新时代。对企业而言，PB级(1PB=1024TB)的数据管理算得上是衡量其数据规模和管理能力的一个重要标尺。目前，全球PB级数据管理俱乐部已经拥有Facebook、淘宝等重要成员，能够跻身其中对京东而言是荣誉，也意味着挑战。
即使是非促销日，京东的订单数字也能达到数亿，几十亿商品图片及其缩略图的存储给京东带来了极大的挑战。这些文件基本上都是KB 级别的，但传统的关系型数据库并不擅长处理海量小文件，而且价格昂贵，没法按需扩容，只能定期删除数据。开源存储系统虽然便宜，但难以选型、定制和维护。此前，京东一直是采用HDFS作为数据存储子系统，但是专为大文件而设计的HDFS显然无法有效处理大量小文件，同时还对Hadoop的扩展性和性能造成了不良影响。
针对电商业务中海量小文件、大文件等数据分布式存储与管理的实际需求，京东从2013年7月便开始着手自主研发分布式文件系统JFS(即Jingdong Filesystem)，以及分布式的缓存与高速键值存储服务Jimdb。该系统定位明确：针对海量非结构化的小文件，要求强可靠、强一致和高可用，并且key由系统本身生成。目前已经取得了阶段性的成果。
▲JFS小文件存储系统
据桂创华介绍，JFS的建设主要分为六大块，即海量小文件、对象存储、块存储、新图片系统、元数据表结构存储以及Hadoop集成。同时，还在分布式存储方面满足了精确故障检测、自动故障切换、两级存储层次、在线纵向扩展以及在线横向扩容等需求，具有很强的指导性。
他表示，除了海量小文件之外，JFS很多其他层面也做了很多工作。比如新图片系统，这是从存储到展现重新搭建了京东图片服务，这包括了上商城主站与金融产品全部图片。在技术上，也主要是基于JFS做底层存储，以及重写在线缩放处理层。
JFS系统的研发是基于京东的大规模和一些痛点的基础上进行的。目前能看到的对业务的影响也很明显，主要是形成了多个集群，如图片、订单、仓库流水、内部云存储、公有云存储等等。
▲JFS V2拓扑图
“2013年上线的JFS V1(第1版)对我们来说也有很多痛点，其中就包括小文件和大文件存储系统能否统一、磁盘故障修复太慢、副本增、删功能无法自动化;Client太重、无法自动升级、监控系统弱等等。”桂创华坦言道。不过，如今升级优化后的JFS V2不仅能够支持小文件的整读整写，大文件的整读整写、随机读、追加写，副本的动态增、减，还拥有强大的管理端。此外，JFS V2还支持系统的自动升级，磁盘故障的分钟级修复，以及机器级别、volume级别关键指标的实时监控。
据桂创华透露，目前还处于研发过程中的JFS V3还将具有Hadoop集成、可擦除编码和跨机房等工作，“One Jingdong One Storage”是京东文件系统一直以来的目标。
在2015中国数据库技术大会上，现场展台人员爆满，来自微软、百度、星环科技、宝存科技、云和恩墨、听云、永洪BI、Greeliant、Action Technology、巨杉数据库、联想、慧科、云智慧等厂商强力加盟，大会现场有互联网家庭机器人展台，现场参会的朋友有机会与机器人互动，同时大会现场还安排了填调查赢取奖品互动环节。更多惊喜，尽在2015中国数据库技术大会现场。
