0
0

Hbase

初识 HBase

HBase简介

HBase 基于 Google的BigTable论文而来，是一个分布式海量列式非关系型数据库系统，可以提供超大规模数据集的实时随机读写。

HBase的特点
  • 海量存储： 底层基于HDFS存储海量数据
  • 列式存储：HBase表的数据是基于列族进行存储的，一个列族包含若干列
  • 极易扩展：底层依赖HDFS，当磁盘空间不足的时候，只需要动态增加DataNode服务节点就可以
  • 高并发：支持高并发的读写请求
  • 稀疏：稀疏主要是针对HBase列的灵活性，在列族中，你可以指定任意多的列，在列数据为空的情况下，是不会占用存储空间的。
  • 数据的多版本：HBase表中的数据可以有多个版本值，默认情况下是根据版本号去区分，版本号就是插入数据的时间戳
  • 数据类型单一：所有的数据在HBase中是以字节数组进行存储
HBase数据模型

概念描述NameSpace(数据库)命名空间,类似于关系型数据库的database概念,每个命名空间下有多个表.HBase两个自带的命名空间,分别是hbase和default,hbase中存放的是HBase内置的表,default表是用户默认使用的命名空间.一个表可以自由选择是否有命名空间，如果创建表的时候加上了命名空间后，这个表名字以:作为区分!
Table类似于关系型数据库的表概念。不同的是，HBase定义表时只需要声明列族即可，数据属性，比如超时时间(TTL)，压缩算法(COMPRESSION)等，都在列族的定义中定义，不需要声明具体的列。Row(一行逻辑数据)HBase表中的每行数据都由一个RowKey和多个Column(列)组成。一个行包含了多个列，这些列通过列族来分类,行中的数据所属列族只能从该表所定义的列族中选取,不能定义这个表中不存在的列族，否则报错NoSuchColumnFamilyException。RowKey(每行数据主键)Rowkey由用户指定的一串不重复的字符串定义，是一行的唯一标识!数据是按照RowKey的字典顺序存储的，并且查询数据时只能根据RowKey进行检索，所以RowKey的设计十分重要。如果使用了之前已经定义的RowKey，那么会将之前的数据更新掉!Column Family(列族)列族是多个列的集合。一个列族可以动态地灵活定义多个列。表的相关属性大部分都定义在列族上，同一个表里的不同列族可以有完全不同的属性配置，但是同一个列族内的所有列都会有相同的属性。列族存在的意义是HBase会把相同列族的列尽量放在同一台机器上，所以说，如果想让某几个列被放到一起，你就给他们定义相同的列族。Column Qualifier(列)Hbase中的列是可以随意定义的，一个行中的列不限名字、不限数量，只限定列族。因此列必须依赖于列族存在!列的名称前必须带着其所属的列族!例如info:name，info:ageTimeStamp(时间戳–》版本)用于标识数据的不同版本(version)。时间戳默认由系统指定，也可以由用户显式指定。在读取单元格的数据时，版本号可以省略，如果不指定，Hbase默认会获取最后一个版本的数据返回!Cell一个列中可以存储多个版本的数据。而每个版本就称为一个单元格(Cell)Region(表的分区)Region由一个表的若干行组成!在Region中行的排序按照行键(rowkey)字典排序。Region不能跨RegionSever，且当数据量大的时候，HBase会拆分Region。

HBase整体架构

在这里插入图片描述

Zookeeper

  • 实现了HMaster的高可用 - 保存了HBase的元数据信息，是所有HBase表的寻址入口
  • 对HMaster和HRegionServer实现了监控

HMaster（Master）

  • 为HRegionServer分配Region - 维护整个集群的负载均衡
  • 维护集群的元数据信息
  • 发现失效的Region，并将失效的Region分配到正常的HRegionServer上

HRegionServer（RegionServer）

  • 负责管理Region
  • 接受客户端的读写数据请求
  • 切分在运行过程中变大的Region

Region

  • 每个HRegion由多个Store构成，
  • 每个Store保存一个列族（Columns Family），表有几个列族，则有几个Store，
  • 每个Store由一个MemStore和多个StoreFile组成，MemStore是Store在内存中的内容，写到文件后就是StoreFile。StoreFile底层是以HFile的格式保存。

HBase shell 基本操作

1、进入Hbase客户端命令操作界面

hbase shell

2、查看帮助命令

hbase(main):001:0>help

3、查看当前数据库中有哪些表

hbase(main):006:0> list

4、创建一张lagou表， 包含base_info、extra_info两个列族

hbase(main):001:0> create 'lagou', 'base_info', 'extra_info'
或者(Hbase建表必须指定列族信息)

create 'lagou', {NAME =>'base_info', VERSIONS =>'3'},{NAME =>extra_info',VERSIONS => '3'}

VERSIONS 是指此单元格内的数据可以保留最近的 3 个版本

5、添加数据操作

向lagou表中插入信息，row key为 rk1，列族base_info中添加name列标示符，值为wang
hbase(main):001:0> put 'lagou', 'rk1', 'base_info:name', 'wang'

向lagou表中插入信息，row key为rk1，列族base_info中添加age列标示符，值为30
hbase(main):001:0> put 'lagou', 'rk1', 'base_info:age', 3

向lagou表中插入信息，row key为rk1，列族extra_info中添加address列标示符，值为shanghai
hbase(main):001:0> put 'lagou', 'rk1', 'extra_info:address', 'shanghai'

6、查询数据
6.1 通过rowkey进行查询
获取表中row key为rk1的所有信息

hbase(main):001:0> get 'lagou','rk1'

6.2 查看rowkey下面的某个列族的信息

获取lagou表中rowkey为rk1，base_info列族的所有信息
hbase(main):001:0> get 'lagou','rk1','base_info'

6.3 查看rowkey指定列族指定字段的值

获取表中rowkey为rk1，base_info列族的name、age列标示符的信息
hbase(main):008:0> get 'lagou','rk1','base_info:name','base_info:age'

6.4 查看rowkey指定多个列族的信息
获取lagou表中row key为rk1，base_info、extra_info列族的信息

hbase(main):010:0> get 'lagou','rk1','base_info','extra_info'
或者
hbase(main):011:0> get 'lagou','rk1', {COLUMN=>['base_info','extra_info']}
或者
hbase(main):012:0> get 'lagou','rk1', {COLUMN=>['base_info:name','extra_info:address']}

6.5 指定rowkey与列值查询

获取表中rowkey为rk1，cell的值为wang的信息
hbase(main):001:0> get 'lagou','rk1', {FILTER =>"ValueFilter(=,'binary:wang')"}

6.6 指定rowkey与列值模糊查询

获取表中rowkey为rk1，列标示符中含有a的信息
hbase(main):001:0> get 'lagou','rk1', {FILTER =>"(QualifierFilter(=,'substring:a'))"}

6.7 查询所有数据

查询lagou表中的所有信息
hbase(main):000:0> scan 'lagou'

6.8 列族查询

查询表中列族为 base_info 的信息
hbase(main):001:0> scan 'lagou', {COLUMNS=>'base_info'}
hbase(main):002:0> scan 'lagou', {COLUMNS=>'base_info', RAW =>true, VERSIONS=>3}
## Scan时可以设置是否开启Raw模式,开启Raw模式会返回包括已添加删除标记但是未实际删除的数据## VERSIONS指定查询的最大版本数

6.9 指定多个列族与按照数据值模糊查询

查询lagou表中列族为 base_info 和 extra_info且列标示符中含有a字符的信息
hbase(main):001:0> scan 'lagou', {COLUMNS=>['base_info','extra_info'], FILTER=>"(QualifierFilter(=,'substring:a'))"}

6.10 rowkey的范围值查询（非常重要）

查询lagou表中列族为base_info，rk范围是[rk1, rk3)的数据（rowkey底层存储是字典序）
按rowkey顺序存储。
hbase(main):001:0> scan 'lagou', {COLUMNS=>'base_info', STARTROW =>'rk1',ENDROW =>'rk3'}

6.11 指定rowkey模糊查询

查询lagou表中rowkey以rk字符开头的
hbase(main):001:0> scan 'lagou',{FILTER=>"PrefixFilter('rk')"}

7、更新数据
更新操作同插入操作一模一样，只不过有数据就更新，没数据就添加
7.1 更新数据值

把lagou表中rowkey为rk1的base_info列族下的列name修改为liang
hbase(main):030:0> put 'lagou','rk1','base_info:name','liang'

8、删除数据和表
8.1 指定rowkey以及列名进行删除

删除lagou表rowkey为rk1，列标示符为 base_info:name 的数据
hbase(main):002:0>delete'lagou','rk1','base_info:name'

8.2 指定rowkey，列名以及时间戳信息进行删除

删除lagou表rowkey为rk1，列标示符为base_info:name的数据

8.3 删除列族

删除 base_info 列族
hbase(main):035:0>alter'lagou','delete'=>'base_info'

8.4 清空表数据

删除lagou表数据
hbase(main):001:0>truncate'lagou'

8.5 删除表

删除lagou表
#先disable 再drop
hbase(main):036:0>disable'lagou'
hbase(main):037:0>drop'lagou'#如果不进行disable，直接drop会报错
ERROR: Tableuseris enabled.Disable it first.

HBase原理深入

HBase的flush(刷写)及compact(合并)机制

Flush机制
  1. 当memstore的大小超过这个值的时候，会flush到磁盘,默认为128M
<property><name>hbase.hregion.memstore.flush.size</name><value>134217728</value></property>
  1. 当memstore中的数据时间超过1小时，会flush到磁盘
<property><name>hbase.regionserver.optionalcacheflushinterval</name><value>3600000</value></property>
  1. HregionServer的全局memstore的大小，超过该大小会触发flush到磁盘的操作,默认是堆大小的40%
<property><name>hbase.regionserver.global.memstore.size</name><value>0.4</value></property>
阻塞机制

以上介绍的是Store中memstore数据刷写磁盘的标准，但是Hbase中是周期性的检查是否满足以上标准满足则进行刷写，但是如果在下次检查到来之前，数据疯狂写入Memstore中，会出现什么问题呢？
会触发阻塞机制，此时无法写入数据到Memstore，数据无法写入Hbase集群。

Compact合并机制

在hbase中主要存在两种类型的compac合并

minor compact 小合并

这个过程中，删除和更新的数据仅仅只是做了标记，并没有物理移除，这种合并的触发频率很高;

<!--待合并文件数据必须大于等于下面这个值--><property><name>hbase.hstore.compaction.min</name><value>3</value></property><!--待合并文件数据必须小于等于下面这个值--><property><name>hbase.hstore.compaction.max</name><value>10</value></property><!--默认值为128m,表示文件大小小于该值的store file 一定会加入到minor compaction的store file中--><property><name>hbase.hstore.compaction.min.size</name><value>134217728</value></property><!--默认值为LONG.MAX_VALUE，表示文件大小大于该值的store file 一定会被minor compaction排除--><property><name>hbase.hstore.compaction.max.size</name><value>9223372036854775807</value></property>

触发条件

  • memstore flush:在进行memstore flush前后都会进行判断是否触发compact
  • 定期检查线程:周期性检查是否需要进行compaction操作,由参数：hbase.server.thread.wakefrequency决定，默认值是10000 millseconds
major compact 大合并

合并Store中所有的HFile为一个HFile
这个过程有删除标记的数据会被真正移除，同时超过单元格maxVersion的版本记录也会被删除。合并频率比较低，默认7天执行一次，并且性能消耗非常大，建议生产关闭(设置为0)，在应用空闲时间手动触发。一般可以是手动控制进行合并，防止出现在业务高峰期。

major compaction触发时间条件

<!--默认值为7天进行一次大合并，--><property><name>hbase.hregion.majorcompaction</name><value>604800000</value></property>

手动触发

##使用major_compact命令
major_compact tableName

Region 拆分机制

Region中存储的是大量的rowkey数据 ,当Region中的数据条数过多的时候,直接影响查询效率.当Region过大的时候.HBase会拆分Region , 这也是Hbase的一个优点 .

拆分策略
ConstantSizeRegionSplitPolicy

当region大小大于某个阈值(hbase.hregion.max.filesize=10G)之后就会触发切分，一个region等分为2个region。

IncreasingToUpperBoundRegionSplitPolicy

切分策略稍微有点复杂，总体看和ConstantSizeRegionSplitPolicy思路相同，一个region大小大于设置阈值就会触发切分。但是这个阈值并不像ConstantSizeRegionSplitPolicy是一个固定的值，而是会在一定条件下不断调整，调整规则和region所属表在当前regionserver上的region个数有关系.
region split的计算公式是：
regioncount^3 * 128M * 2，当region达到该size的时候进行split
例如：
第一次split：1^3 * 256 = 256MB
第二次split：2^3 * 256 = 2048MB
第三次split：3^3 * 256 = 6912MB
第四次split：4^3 * 256 = 16384MB > 10GB，因此取较小的值10GB
后面每次split的size都是10GB了

SteppingSplitPolicy

这种切分策略的切分阈值又发生了变化，相比 IncreasingToUpperBoundRegionSplitPolicy 简单了一些，依然和待分裂region所属表在当前regionserver上的region个数有关系，如果region个数等于1，
切分阈值为flush size * 2，否则为MaxRegionFileSize。这种切分策略对于大集群中的大表、小表会比 IncreasingToUpperBoundRegionSplitPolicy 更加友好，小表不会再产生大量的小region，而是适可而止。

KeyPrefixRegionSplitPolicy

根据rowKey的前缀对数据进行分组，这里是指定rowKey的前多少位作为前缀，比如rowKey都是16位的，指定前5位是前缀，那么前5位相同的rowKey在进行region split的时候会分到相同的region中。

DelimitedKeyPrefixRegionSplitPolicy

保证相同前缀的数据在同一个region中，例如rowKey的格式为：userid_eventtype_eventid，指定的delimiter为 _ ，则split的的时候会确保userid相同的数据在同一个region中。

DisabledRegionSplitPolicy

不启用自动拆分, 需要指定手动拆分

HBase表的预分区(region)

当一个table刚被创建的时候，Hbase默认的分配一个region给table。也就是说这个时候，所有的读写请求都会访问到同一个regionServer的同一个region中，这个时候就达不到负载均衡的效果了，集群中的其他regionServer就可能会处于比较空闲的状态。解决这个问题可以用pre-splitting,在创建table的时候就配置好，生成多个region。

  • 增加数据读写效率
  • 负载均衡，防止数据倾斜
  • 方便集群容灾调度region 每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维
手动指定预分区
create'person','info1','info2',SPLITS =>['1000','2000','3000']

也可以把分区规则创建于文件中

Region 合并

Region合并说明:Region的合并不是为了性能，而是出于维护的目的。

如何进行Region合并
  1. 通过Merge类冷合并Region - 需要先关闭hbase集群- 需求：需要把student表中的2个region数据进行合并： 这里通过org.apache.hadoop.hbase.util.Merge类来实现，不需要进入hbase shell，直接执行（需要先关闭hbase集群）
hbase org.apache.hadoop.hbase.util.Merge student \
student,,1595256696737.fc3eff4765709e66a8524d3c3ab42d59. \
student,aaa,1595256696737.1d53d6c1ce0c1bed269b16b6514131d0.
  1. 通过online_merge热合并Region,不需要关闭hbase集群，在线进行合并 与冷合并不同的是，online_merge的传参是Region的hash值，而Region的hash值就是Region名称的最后那段在两个.之间的字符串部分。

需求：需要把lagou_s表中的2个region数据进行合并：
student,1587392159085.9ca8689901008946793b8d5fa5898e06.
student,aaa,1587392159085.601d5741608cedb677634f8f7257e000.

需要进入hbase shell：
merge_region ‘c8bc666507d9e45523aebaffa88ffdd6’,‘02a9dfdf6ff42ae9f0524a3d8f4c7777’

HBase API应用和优化

Hbase 协处理器

    访问HBase的方式是使用scan或get获取数据，在获取到的数据上进行业务运算。但是在数据量非常大的时候，比如一个有上亿行及十万个列的数据集，再按常用的方式移动获取数据就会遇到性能问题。客户端也需要有强大的计算能力以及足够的内存来处理这么多的数据。
    此时就可以考虑使用Coprocessor(协处理器)。将业务运算代码封装到Coprocessor中并在RegionServer上运行，即在数据实际存储位置执行，最后将运算结果返回到客户端。利用协处理器，用户可以编写运行在 HBase Server 端的代码。

Hbase Coprocessor类似以下概念
触发器和存储过程：一个Observer Coprocessor有些类似于关系型数据库中的触发器，通过它我们可以在一些事件（如Get或是Scan）发生前后执行特定的代码。Endpoint Coprocessor则类似于关系型数据库中的存储过程，因为它允许我们在RegionServer上直接对它存储的数据进行运算，而非是在客户端完成运算。

标签： hbase 大数据 hadoop
本文转载自: https://blog.csdn.net/weixin_43456806/article/details/138183296
版权归原作者 zhaojiadi1998 所有， 如有侵权，请联系我们删除。
登录后发布评论

“Hbase”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？

文章导航