存储 频道

淘宝开源Key/Value存储Tair技术剖析

  对照表简介

  下面我们看对照表是怎么完成数据的分布功能的,为了方便,我们这里假设对照表的行数为6。最简单的对照表包含两列,第一列为hash值,第二列为负责该hash值对应数据的dataserver节点信息。比如我们有两个节点192.168.10.1和192.168.10.2,那么对照表类似:

  0192.168.10.1

  1192.168.10.2

  2192.168.10.1

  3192.168.10.2

  4192.168.10.1

  5192.168.10.2

  当客户端接收到请求后,将key的hash值和6取模,然后根据取模后的结果查找对照表。比如取模后的值为3,客户端将和192.168.10.2通信。

  对照表如何适应节点数量的变化

  我们假设新增了一个节点——192.168.10.3,当configserver发现新增的节点后,会重新构建对照表。构建依据以下两个原则:

  数据在新表中均衡地分布到所有节点上。

  尽可能地保持现有的对照关系。

  更新之后的对照表如下所示:

  0192.168.10.1

  1192.168.10.2

  2192.168.10.1

  3192.168.10.2

  4192.168.10.3

  5192.168.10.3

  这里将原本由192.168.10.1负责的4和192.168.10.2负责的5交由新加入的节点192.168.10.3负责。

  如果是节点不可用,则相当于上述过程反过来,道理是一样的。

  多备份的支持

  Tair支持自定义的备份数,比如你可以设置数据备份为2,以提高数据的可靠性。对照表可以很方便地支持这个特性。我们以行数为6,两个节点为例,2个备份的对照表类似:

  0192.168.10.1192.168.10.2

  1192.168.10.2192.168.10.1

  2192.168.10.1192.168.10.2

  3192.168.10.2192.168.10.1

  4192.168.10.1192.168.10.2

  5192.168.10.2192.168.10.1

  第二列为主节点的信息,第三列为辅节点信息。在Tair中,客户端的读写请求都是和主节点交互,所以如果一个节点不做主节点,那么它就退化成单纯的备份节点。因此,多备份的对照表在构建时需要尽可能保证各个节点作为主节点的个数相近。

  当有节点不可用时,如果是辅节点,那么configserver会重新为其指定一个辅节点,如果是持久化存储,还将复制数据到新的辅节点上。如果是主节点,那么configserver首先将辅节点提升为主节点,对外提供服务,并指定一个新的辅节点,确保数据的备份数。

  多机架和多数据中心的支持

  对照表在构建时,可以配置将数据的备份分散到不同机架或数据中心的节点上。Tair当前通过设置一个IP掩码来判断机器所属的机架和数据中心信息。

  比如你配置备份数为3,集群的节点分布在两个不同的数据中心A和B,则Tair会确保每个机房至少有一份数据。假设A数据中心包含两份数据时,Tair会尽可能将这两份数据分布在不同机架的节点上。这可以减少整个数据中心或某个机架发生故障是数据丢失的风险。

0
相关文章