【IT168 现场报道】2014年9月17日-19日，2014 中国系统架构师大会(SACC 2014)在北京五洲皇冠国际酒店盛大开幕。作为中国规模最大的架构师豪门盛会，本届中国系统架构师大会以“发现架构之美”为主题，探讨最具前瞻性的行业趋势与技术热点，分享架构在企业中的非常好的实践，共同领略架构之美。
据了解，大会邀请了来自百度、腾讯、阿里巴巴、京东等知名互联网企业与传统行业的资深架构师，分享云架构实践与解析、大数据架构及应用、自动化运维、高性能高可用网络架构设计、互联网存储架构优化、构建全新数据中心、互联网金融及风险防范、移动平台架构设计、高效电商系统构建、全栈工程师实践等主题的最新技术实践。
▲百度大数据部架构师 马如悦
在大会第一天临近过半的主会场上，百度大数据部架构师马如悦用幽默风趣的语言为大家带来了题为《Palo：百度面向分析的大规模数据库系统》的主题演讲。
他介绍说，一般来说，我们可将数据库的应用类型分为OLTP(OnLine Transaction Processing ，联机事务处理)和OLAP(OnLine Analysis Processing，联机分析处理)两种。OLTP是传统关系型数据库的主要应用，其主要面向基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
OLTP也被称为面向交易的处理系统，其基本特征是可以立即将顾客的原始数据传送到计算中心进行处理，并在很短的时间内给出处理结果，这个过程的最大优点是可以即时地处理输入的数据、及时地回答，因此OLTP又被称为实时系统(Real Time System)。衡量OLTP系统的一个重要性能指标是系统性能，具体体现为实时响应时间(Response Time)，即从用户在终端输入数据到计算机对这个请求做出回复所需的时间。OLTP 数据库旨在使事务应用程序仅完成对所需数据的写入，以便尽快处理单个事务。
而OLAP的概念则最早是由关系数据库之父E.F.Codd博士于1993年提出的，是一种用于组织大型商务数据库和支持商务智能的技术。OLAP数据库分为一个或多个多维数据集，每个多维数据集都由多维数据集管理员组织和设计，以适应用户检索和分析数据的方式，从而更易于创建和使用所需的数据透视表和数据透视图。
在千禧年以前，数据库领域并购次数不多，金额也不大。但千禧年以后，在OLAP领域美国与欧洲成立了许多小型创业公司，像Vertica、Vectorwise、ParAccell、Exasol都是其中的佼佼者，数据库领域呈现出前所未有的活跃气氛。
大数据的出现促使传统数据库领域格局发生变化，并购渐多。2010年，SAP 率先以58亿美金巨资收购Sybase，拉开领域并购狂潮。许多IT公司随即也开始进行领域布局，其中具有典型意义的有：2010年9月20日，IBM出资17.8亿美元收购Netezza;2010年7月6日，EMC出资3亿美元收购Greenplum。
▲传统数据库面临的问题
而与此同时，传统数据库还面临着成本、扩展性、可用性以及性能等问题。在这样的背景下，百度面向分析的大规模数据库系统Palo横空出世。据马如悦介绍，Palo系统采用了Frontend Metadata Management、MySQL Networking Protocol、Elastic Range Partition以及Palo Storage Format – 行列存储等关键技术。其中，Elastic Range Partition不但支持Hash Partition，也支持一种Elastic Range Partition。
▲Palo Storage Format – 行列存储技术的主要特性
大规模数据库系统Palo还包括其它关键技术：
· 批量数据导入的原子更新，MVCC
· Schema Change/Create Rollup/Data Recovery
· Shared-nothing,MPP
· 自动扩展和收缩
· 基于Hadoop的分布式导入系统
▲Palo vs. EMC GreenPlum
谈到和友商类似产品的比较，马如悦笑谈：“虽然Teradata等竞品的性能很多，但价格太贵，那么究竟有多贵呢?连全球市值第一的中国工商银行买了70多个节点之后，都买不起了!”而百度的Palo系统不但性能颇佳，性价比也高，单节点仅需5万人民币，堪称友情赞助价。Palo系统的面世也意味着大规模数据库系统技术在逐步走向平民化。
▲Palo vs. Teradata
据马如悦透露，百度基于Palo系统的云产品，即百度数据工厂——OLAP Engine现已开始试用，试用地址：http://factory.baidu.com/olapengine。而OLAP Engine的Beta版本也将于2015年5月问世。而在商业合作方面，百度已经提供功能部分受限的云端Palo供大家申请试用。那么就让我们共同拭目以待明年的OLAP Engine Beta版吧!
