存储 频道

洞窥大数据 DTCC 2015存储专场先睹为快

  【IT168 专稿】作为国内数据库与大数据领域最大规模的技术盛宴,2015第六届中国数据库技术大会(DTCC)即将于4月16日-18日在北京新云南皇冠假日酒店闪亮登场。大会以“大数据技术交流和价值发现”为主题,云集了国内外顶尖专家,共同探讨MySQL、NoSQL、Oracle、缓存技术、闪存技术、国产数据库、Hadoop、数据挖掘、推荐系统、机器学习等领域的前瞻性热点技术。

2015 DTCC即将起航 存储专场先睹为快

  为期3天的DTCC 2015大会届时将吸引2500多名IT人士参会,举办21个专场、120多场精彩演讲,致力于为数据库人群、大数据从业人员、广大互联网人士提供最具价值的交流平台。数据库领域的"拉斯维加斯"之夜,面向全国范围技术大师们的技术盛宴即将拉开帷幕!

  这是一个数据爆发的时代,更是一个数据技术爆发的时代。归根结底,数据是我们未来新经济的基础。最新消息,本次大会将特设“存储与文件系统”专场演讲,嘉宾已全部确认完毕,嘉宾议题也已发布【详细日程】。该专场上会有哪些精彩内容?在这里,小编独家整理了四大亮点,让大家先睹为快:

  亮点1:双十一背后的隐形之剑

洞窥大数据 DTCC 2015存储专场先睹为快

  京东商城云平台系统技术部高级架构师 桂创华

  演讲主题:《京东文件系统:从2013到2015》

  拥有一亿用户、营业规模达数百亿元的大型网络零售企业京东(JD.com),在网络零售市场深耕近十年之后,也正式迈入了PB级数据管理的新时代。对企业而言,PB级(1PB=1024TB)的数据管理算得上是衡量其数据规模和管理能力的一个重要标尺。目前,全球PB级数据管理俱乐部已经拥有Facebook、淘宝等重要成员,能够跻身其中对京东而言是荣誉,也意味着挑战。

  即使是非促销日,京东的订单数字也能达到数亿,几十亿商品图片及其缩略图的存储给京东带来了极大的挑战。这些文件基本上都是KB 级别的,但传统的关系型数据库并不擅长处理海量小文件,而且价格昂贵,没法按需扩容,只能定期删除数据。开源存储系统虽然便宜,但难以选型、定制和维护。此前,京东一直是采用HDFS作为数据存储子系统,但是专为大文件而设计的HDFS显然无法有效处理大量小文件,同时还对Hadoop的扩展性和性能造成了不良影响。

  针对电商业务中海量小文件、大文件等数据分布式存储与管理的实际需求,京东从2013年7月便开始着手自主研发分布式文件系统JFS(即Jingdong Filesystem),以及分布式的缓存与高速键值存储服务Jimdb,目前已经取得了阶段性的成果。

  演讲内容预告:

  届时,京东商城云平台系统技术部高级架构师——桂创华将出席“存储与文件系统”专场,与大家分享介绍京东的技术团队是如何研发逐步完善其自主研发的分布式文件系统JFS (Jingdong File system)。桂创华曾先后参与京东海量小文件、对象存储、新图片系统的研发,主导了京东弹性块存储,JFS元数据表结构存储的设计和研发。

  据悉,JFS根据业务需要,已经陆续实现了海量小文件、对象存储、块存储、新图片系统等功能,元数据的结构化存储以及与Hadoop的集成正处在研发阶段。同时,还在分布式存储方面满足了精确故障检测、自动故障切换、两级存储层次、在线纵向扩展以及在线横向扩容等需求,具有很强的指导性。

4
相关文章