存储 频道

DTCC 2017:存储如何加速数据库性能

  【IT168 资讯】2017第八届中国数据库技术大会(DTCC2017)于2017年5月11-13日在北京举办。本届大会以“数据驱动·价值发现”为主题,汇集了来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域的120多位技术专家,共同探讨Oracle、MySQL、NoSQL、云端数据库、智能数据平台、区块链、数据可视化、深度学习等领域的前瞻性热点话题与技术。

  5月13日,在数据存储加速专场上,阿里巴巴中间件高级技术专家钟宇、拍拍贷数据库负责人徐玉锦、南京大学讲师顾荣、Terark雷鹏对存储如何加速数据库性能做了精彩解读。

  阿里巴巴中间件高级技术专家钟宇:《时序数据的存储分析方案》

  钟宇在演讲中分别介绍了时序数据和时序数据存储方案分析。据了解,时序数据是指时间序列数据,是指同一统一指标按时间顺序记录的数据列。在同一数据列中的各个数据必须是同口径的,要求具有可比性。时序数据可以是时期数,也可以时点数。


▲阿里巴巴中间件高级技术专家钟宇

  除此之外,钟宇重点介绍五种时序数据存储分析方案。其中包括方案一:直接保存到关系数据库中(例如MySQL 的InnoDB引擎);方案二:直接保存到基于LSM tree的新型关系数据库引擎中(比如MyRocks);方案三:直接保存到搜索引擎中,(比如Elastic Search或者Solr);方案四:使用列式存储的方式来保存时序数据(例如Druid或者InforBright for MySQL);方案五:使用流计算引擎(JStorm, Flink)等方案实践过程的挑战。

  拍拍贷数据库负责人徐玉锦:《金融行业数据库存储与加速》

  徐玉锦带来了《金融行业数据库存储与加速》的主题分享,介绍了金融行业数据库存储加速场景以及存储方式。徐玉锦介绍,在互联网金融里面向的应用,通过硬件方式在场景中的使用数据存储方式。


拍拍贷数据库负责人徐玉锦

  徐玉锦从传统存储方式和现代存储方式两个方面展开分享。此外,据他表示,MPP数据库有三个优势,第一个性能完整,第二个它比Hadoop性能高,我们看到现在Hadoop性能超过MPP若干倍。第三个优势就是说它上面的DBA工具,外延工具非常全,在Hadoop系统DBA工具越来越丰富,一些新兴的创业公司在Hadoop上开发完整的DBA工具,这些工具原生支持Hadoop的,从这个来讲Hadoop的DBA工具超过传统MPP数据库的功能。

  徐玉锦认为,SSD替代是比较好的方案,随着硬件技术的发展我们发现内存已经被大容量的SSD取代,这个也是非常明显的趋势。

  南京大学讲师顾荣:《基于Alluxio提升spark的数据访问性能于系统稳定性》

  在此次分享中,顾荣也介绍了Alluxio可以给与HDFS共同部署的计算集群的两大好处:性能的高可预测性使得SLA(service-level agreement服务级别协议)很容易满足。例:作业运行时间的变化范围从100秒以上缩短至2秒;高达10倍的性能提升。


▲南京大学讲师顾荣

  Alluxio是世界上首个以内存为中心的虚拟的分布式存储系统。它为上层计算框架和底层存储系统构建了桥梁,应用可以通过Alluxio提供的统一数据访问方式访问底层任意存储系统(例如Hadoop HDFS)中的数据。此外,Alluxio以内存为中心的架构使得数据的访问速度能比常规方案快几个数量级。

  据了解,Alluxio开源项目从诞生的4年来发展迅速,已有超过100个组织机构的 400多贡献者参与开源系统的开发。

  更值得注意的是,Alluxio 1.4.0已经发布了大量的新功能和改进。顾荣还在演讲中分享了Alluxio 1.4.0开源版本的一些重要特性。其中包括改进的Alluxio底层存储API,文件系统REST接口、数据包流。同时,顾荣分享了四个测试场景下的应用分析。

  Terark 联合创始人兼CTO雷鹏:《使用TerarkDB提升MyRocks的性能》

  据雷鹏介绍,MyRocks是一款使用了 RocksDB 存储引擎的 MySQL 版本,由 Facebook 开发,目前在各大互联网公司内有不少用户。


Terark 联合创始人兼CTO雷鹏

  对比 InnoDB 引擎,MyRocks 的写放大远低于 InnoDB(基于LSM-Tree,对 SSD 更友好),并且拥有更高的压缩率,同时也增加了一些针对 RocksDB 的特有功能。

  MyRocks 底层是单一的 RocksDB 实例,在多租户环境下(如云数据库、大公司内多部门共享数据库)具有更高的资源利用率。

  据了解,Terark 是国内极少数做存储引擎的团队之一,作为创业公司专注于这个领域的原因就是对自己的技术足够自信,基于自己的可检索压缩技术,Terark 实现了一个存储引擎 TerarkDB。此外,雷鹏在现场分享了在 MyRocks 中的 RocksDB 直接替换为 TerarkDB,以及实现 MyRocks 获得 TerarkDB 的各项优势。

0
相关文章