HBase的数据模型和存储原理

HBase的数据模型

HBase中表的逻辑结构

Name Space（命名空间）

类似于关系型数据库的** DatabBase 概念，每个命名空间下有多个表。HBase有两个自带的命名空间，分别是 hbase 和 default，hbase 中存放的是 HBase 内置的表，default 表是用户默认使用的命名空间**。

Region（子表）

类似于一个表的子表，表中的一部分。HBase中的一个表被拆分成多个region。HBase 定义表时只需要声明列族即不需要声明具体的列。这意味着，往 HBase 写入数据时，字段可以动态、按需指定。因此，和关系型数据库相比，HBase 能够轻松应对字段变更的场景。

RowKey（主键）

Rowkey的概念和mysql中的主键是完全一样的，HBase使用Rowkey来唯一的区分某一行的数据。在 HBase 内部，rowkey 保存为字节数组。HBase 会对表中的数据按照 rowkey 排序 (字典顺序)。三原则：散列、长度短、唯一。

HBase只支持3中查询方式：

• 基于Rowkey的单行查询
• 基于Rowkey的范围扫描
• 全表扫描

ColumnFamily（列族）

Hbase通过列族划分数据的存储，列族下面可以包含任意多的列，实现灵活的数据存取。就像是家族的概念，我们知道一个家族是由于很多个的家庭组成的。列族也类似，列族是由一个一个的列组成（任意多）。Hbase表的创建的时候就必须指定列族。就像关系型数据库创建的时候必须指定具体的列是一样的。
注意：Hbase的列族不是越多越好，官方推荐的是列族最好小于或者等于3。我们使用的场景一般是1个列族。

Column（列）

列就是列族下的部分，类似于家族中的每个成员。

TimeStamp（时间戳）

用于标识数据的不同版本（version），每条数据写入时，如果不指定时间戳，系统会自动为其加上该字段，其值为写入 HBase 的时间。

为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，hbase 提供了两种数据版本回收方式：

1、保存数据的最后 n 个版本。

2、保存最近一段时间内的版本（设置数据的生命周期 TTL）。

Cell（单元）

由{rowkey, column Family：column Qualifier, time Stamp} 唯一确定的单元。cell 中的数
据是没有类型的，全部是字节码形式存贮。

HBase的物理结构

Hbase的存储原理

LSM的原理

    就是**将一个大的B(B+)树拆分成N棵小树**，**数据首先写入内存中(有序)**，随着数据写入越来越多，**内存中的数据会被flush到磁盘中形成一个文件**；在读取数据时，则需要**合并磁盘中历史数据和内存中最近修改的操作后返回**。

• 1、数据是顺序写入：因此LSM的写入性能非常高
• 2、定时将磁盘中的多个文件(小树)进行合并：优化读性能

Hbase的存储介绍

    HBase在存储上是基于LSM树实现的。在HBase的实现中，**内存中的数据则是对应于MemStore**，而**磁盘中的数据则对应于StoreFile(HFile实现)**。当MemStore写满后会**Flush到一个HFile中**。随着HFile文件的不断增多，Region的读性能就会受到影响(IOPS增加)。因此HBase的Region Server会定期进行**Compaction**操作，将**多个HFile合并为一个大的有序的HFile**。

HBase的架构

Client

    客户端，访问用户数据前需要首先访问 ZooKeeper，找到-ROOT-表的 Region 所在的位置，然后访问-ROOT-表，接着访问.META.表，最后才能找到用户数据的位置去访问，中间需要多次网络操作，不过 client 端会做 cache 缓存。

**.META.**表：记录了用户所有表拆分出来的的 Region 映射信息，.META.可以有多个 Regoin。

**-ROOT-**表：记录了.META.表的 Region 信息，-ROOT-只有一个 Region，无论如何不会分裂。

ZooKeeper

• ZooKeeper 为 HBase 提供 Failover 机制，选举 HMaster，避免单点HMaster 单点故障问题。
• 存储所有 Region 的寻址入口：-ROOT-表在哪台服务器上。-ROOT-这张表的位置信息。
• 实时监控 RegionServer 的状态，将 RegionServer 的上线和下线信息实时通知给 Master。
• 存储 HBase 的 Schema，包括有哪些 Table，每个 Table 有哪些 Column Family。

HMaster

• 为 RegionServer 分配 Region。
• 负责 RegionServer 的负载均衡。
• 发现失效的 RegionServer 并重新分配其上的 Region。
• HDFS 上的垃圾文件（HBase）回收。
• 处理 Schema 更新请求（表的创建，删除，修改，列簇的增加等等）。

RegionServer

• RegionServer 维护 Master 分配给它的 Region，处理对这些 Region 的 IO 请求。
• RegionServer 负责 Split 在运行过程中变得过大的 Region，负责 Compact 操作。

HRegion（Hbase中分布式存储和负载均衡的最小单元）

     Hbase里的一个Table 在**行的方向上分割为多个HRegion**。即HBase中一个表的数据会被划分成很多的HRegion，HRegion可以动态扩展并且HBase保证HRegion的负载均衡。**HRegion实际上是行键排序后的按规则分割的连续的存储空间**。

    一张Hbase表，可能有多个HRegion，每个HRegion达到一定大小时，进行分裂（这个大小由hbase.hregion.max.filesize指定，默认为10GB）。HRegion的拆分和转移是由HBase（HMaster）**自动完成的，用户感知不到**。

store

    **每一个region由一个或多个store组成**，hbase会把一起访问的数据放在一个store里面，即为每个 ColumnFamily建一个store，如果**有几个ColumnFamily，也就有几个Store**。**一个Store由一个memStore和0或者多个StoreFile组成**。 **HBase以store的大小来判断是否需要切分region**。

MemStore

    **memStore 是放在内存里的。保存修改的数据即keyValues**。当memStore的大小达到一个阀值（默认128MB）时，memStore会被flush到文 件，即生成一个快照。目前hbase 会有一个线程来负责memStore的flush操作。

StoreFile

    **memStore内存中的数据写到文件后就是StoreFile，StoreFile底层是以HFile的格式保存**。

HFile

    HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFile就是对Hfile做了轻量级包装，即StoreFile底层就是HFile。

HLog

    WAL意为write ahead log，用来做灾难恢复使用，HLog记录数据的所有变更，一旦region server 宕机，就可以从log中进行恢复。