0
0

一篇文章完成Hbase入门

文章目录

一、简介

HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。

1、数据模型结构

逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase的底层物理存储结构（K-V）来看，HBase更像是一个multi-dimensional map（多维地图）

HBase逻辑结构

在这里插入图片描述

2、物理存储结构

在这里插入图片描述

3、数据模型

  • Name Space：命名空间
  • Table：表
  • Row：行
  • RowKey：
  • Column Family：列簇
  • Column Qualifier
  • Time Stamp：版本(时间戳)
  • Cell：单元格
  • Region：若干行(按行划分存储)

1）Name Space

命名空间，类似于关系型数据库的database概念，每个命名空间下有多个表。HBase两个自带的命名空间，分别是hbase和default，hbase中存放的是HBase内置的表，default表是用户默认使用的命名空间。一个表可以自由选择是否有命名空间，如果创建表的时候加上了命名空间后，这个表名字以

<Namespace>:<Table>

作为区分。

2）Table

类似于关系型数据库的表概念。不同的是，HBase定义表时只需要声明列族即可，不需要声明具体的列。这意味着，往HBase写入数据时，字段可以动态、按需指定。因此，和关系型数据库相比，HBase能够轻松应对字段变更的场景。

3）Row

HBase表中的每行数据都由一个RowKey和多个Column（列）组成，数据是按照RowKey的字典顺序存储的，并且查询数据时只能根据RowKey进行检索，所以RowKey的设计十分重要。

4) RowKey

Rowkey由用户指定的一串不重复的字符串定义，是一行的唯一标识！数据是按照RowKey的字典顺序存储的，并且查询数据时只能根据RowKey进行检索，所以RowKey的设计十分重要。

如果使用了之前已经定义的RowKey，那么会将之前的数据更新掉。

5）Column Family

列族是多个列的集合。一个列族可以动态地灵活定义多个列。表的相关属性大部分都定义在列族上，同一个表里的不同列族可以有完全不同的属性配置，但是同一个列族内的所有列都会有相同的属性。

列族存在的意义是HBase会把相同列族的列尽量放在同一台机器上，所以说，如果想让某几个列被放到一起，你就给他们定义相同的列族。

官方建议一张表的列族定义的越少越好，列族太多会极大程度地降低数据库性能，且目前版本Hbase的架构，容易出BUG。

6) Column Qualifier

Hbase中的列是可以随意定义的，一个行中的列不限名字、不限数量，只限定列族。因此列必须依赖于列族存在！列的名称前必须带着其所属的列族！例如info：name，info：age。

因为HBase中的列全部都是灵活的，可以随便定义的，因此创建表的时候并不需要指定列！列只有在你插入第一条数据的时候才会生成。其他行有没有当前行相同的列是不确定，只有在扫描数据的时候才能得知。

7）Time****Stamp

用于标识数据的不同版本（version），每条数据写入时，系统会自动为其加上该字段，其值为写入HBase的时间。在读取单元格的数据时，版本号可以省略，如果不指定，Hbase默认会获取最后一个版本的数据返回。

8）Cell

由{rowkey, column Family：column Qualifier, time Stamp} 唯一确定的单元。cell中的数据全部是字节码形式存贮。

9）Region

Region由一个表的若干行组成。在Region中行的排序按照行键（rowkey）字典排序。Region不能跨RegionSever，且当数据量大的时候，HBase会拆分Region。

Region由RegionServer进程管理。HBase在进行负载均衡的时候，一个Region有可能会从当前RegionServer移动到其他RegionServer上。

Region是基于HDFS的，它的所有数据存取操作都是调用了HDFS的客户端接口来实现的。

4、基本架构

在这里插入图片描述

1）Region Server
Region Server为 Region的管理者，其实现类为HRegionServer，主要作用如下:

  • 对于数据的操作：get, put, delete；
  • 对于Region的操作：splitRegion、compactRegion。

2）Master
Master是所有Region Server的管理者，其实现类为HMaster，主要作用如下：

  • 对于表的操作：create, delete, alter
  • 对于RegionServer的操作：分配regions到每个RegionServer，监控每个RegionServer的状态，负载均衡和故障转移。

3）Zookeeper
HBase通过Zookeeper来做master的高可用、RegionServer的监控、元数据的入口以及集群配置的维护等工作。
4）HDFS
HDFS为HBase提供最终的底层数据存储服务，同时为HBase提供高容错的支持。

二、安装

下面的安装配置都是在所有节点都需要配置的

1、下载解压安装包

下载Hbase

wget https://gitcode.net/weixin_44624117/software/-/raw/master/software/Linux/Hbase/hbase-2.0.5-bin.tar.gz

解压安装包

tar-zxvf hbase-2.0.5-bin.tar.gz -C /opt/module

修改文件目录

mv /opt/module/hbase-2.0.5 /opt/module/hbase

2、修改配置文件

配置环境变量

sudovim /etc/profile.d/my_env.sh

#HBASE_HOMEexportHBASE_HOME=/opt/module/hbase
exportPATH=$PATH:$HBASE_HOME/bin

修改配置文件

cd /opt/module/hbase/conf
vim hbase-env.sh

#    修改内容exportHBASE_MANAGES_ZK=false

修改配置文件

hbase-site.xml

vim hbase-site.xml

#    修改内容<configuration><property><name>hbase.rootdir</name><value>hdfs://hadoop101:8020/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.zookeeper.quorum</name><value>hadoop101,hadoop102,hadoop103</value></property><property><name>hbase.unsafe.stream.capability.enforce</name><value>false</value></property><property><name>hbase.wal.provider</name><value>filesystem</value></property></configuration>

3、启动服务(单机、集群)

启动(单节点启动)

cd /opt/module/hbase
bin/hbase-daemon.sh start master
bin/hbase-daemon.sh start regionserver

关闭节点

bin/hbase-daemon.sh stop master
bin/hbase-daemon.sh stop regionserver

启动(启动集群)(Hadoop101主节点)

cd /opt/module/hbase
bin/start-hbase.sh

关闭集群

bin/stop-hbase.sh

查看页面：

http://hadoop101:16010/

4、配置高可用(HA)

关闭集群

cd /opt/module/hbase
bin/stop-hbase.sh

在conf目录下创建backup-masters文件

touch conf/backup-masters

在backup-masters文件中配置高可用HMaster节点

echo hadoop102 > conf/backup-masters

重启hbase

cd /opt/module/hbase
bin/start-hbase.sh

打开页面测试查看(多了一个back Master节点)

http://hadooo102:16010

在这里插入图片描述

三、命令行操作

1、建表

登录Hbase

bin/hbase shell

查看帮助

help

查看表列表

list

创建表

  • 表名：student
  • 列簇：info、address
create 'student','info'
create 'student', 'info', 'address'

新增列簇

alter 'student', 'address'

2、新增/更新数据

插入数据

  • 命名空间：default
  • 表明：student
  • rowKey：1001
  • 列簇：info
  • 列名：info、sex
  • 值：18
put 'student','1001','info','male'
put 'student','1001','info:sex','male'
put 'student','1001','info:age','18'
put 'student','1002','info:name','Janna'
put 'student','1002','info:sex','female'
put 'student','1002','info:age','20'

更新数据

put 'student','1001','info:name','Zhangsan'

3、查看表数据

扫描表数据

scan 'student'#    指定开始和结束rowKey
scan 'student',{STARTROW =>'1001', STOPROW  =>'1001'}
scan 'student',{STARTROW =>'1001'}

只显示指定的列

scan 'student', {LIMIT =>3, COLUMNS=>['info:name', 'info:age'], FORMATTER =>'toString'}

查看表数据

get '表名','rowkey'#    查看列数据
get 'student','1001'#    查看列簇中列数据
get 'student','1001','info:name'

查看数据并且显示中文(shell默认十六进制)

get 'student','1001', {FORMATTER =>'toString'}

查看表结构

describe 'student'

查看数据行数(rowKey数量)

count 'student'

4、删除数据

删除某rowkey的某一列数据：

delete 'student','1002','info:sex'

删除某rowKey数据

deleteall 'student','1001'

清空表数据

truncate 'student'

该表为disable状态

disable 'student'

删除表(需先将表置为

disable

)

drop 'student'

5、修改默认保存的数据版本

修改保存数据版本数量

alter 'student',{NAME=>'info',VERSIONS=>3}

更新4个版本的数据

put 'student','1001','info:name','Zhangsan001'
put 'student','1001','info:name','Zhangsan002'
put 'student','1001','info:name','Zhangsan003'
put 'student','1001','info:name','Zhangsan004'

查看保留的数据版本

get 'student','1001',{COLUMN=>'info:name',VERSIONS=>3}

在这里插入图片描述

四、架构

1、RegionServer 架构

在这里插入图片描述

1）StoreFile

保存实际数据的物理文件，StoreFile以Hfile的形式存储在HDFS上。每个Store会有一个或多个StoreFile（HFile），数据在每个StoreFile中都是有序的。

2）MemStore

写缓存，由于HFile中的数据要求是有序的，所以数据是先存储在MemStore中，排好序后，等到达刷写时机才会刷写到HFile，每次刷写都会形成一个新的HFile。

3）HLog

由于数据要经MemStore排序后才能刷写到HFile，但把数据保存在内存中会有很高的概率导致数据丢失，为了解决这个问题，数据会先写在一个实现了Write-Ahead logfile机制的文件HLog中，然后再写入MemStore中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。

4）BlockCache

读缓存，每次查询出的数据会缓存在BlockCache中，方便下次查询。

2、写流程

在这里插入图片描述

1）Client先访问zookeeper，获取hbase:meta表位于哪个Region Server。

2）访问对应的Region Server，获取hbase:meta表，根据写请求的namespace:table/rowkey，查询出目标数据位于哪个Region Server中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache，方便下次访问。

3）与目标Region Server进行通讯；

4）将数据顺序写入（追加）到HLog；

5）将数据写入对应的MemStore，数据会在MemStore进行排序；

6）向客户端发送ack；

7）等达到MemStore的刷写时机后，将数据刷写到HFile。

3、MemStore Flush

在这里插入图片描述

Memstore级别

当某个memstroe的大小达到了

hbase.hregion.memstore.flush.size（默认值128M）

，其所在region的所有memstore都会刷写。因此不建议创建太多的列族。

Region级别

当一个Region中所有的memstore的大小达到了

hbase.hregion.memstore.flush.size（默认值128M） * hbase.hregion.memstore.block.multiplier（默认值4）

时，会阻止继续往该Region写数据，进行所有Memstore的刷写。

RegionServer级别

一个RegionServer中的阈值大于

java_heapsize * hbase.regionserver.global.memstore.size（默认值0.4）* hbase.regionserver.global.memstore.size.lower.limit（默认值0.95）

。region会按照其所有memstore的大小顺序（由大到小）依次进行刷写。直到region server中所有memstore的总大小减小到上述值以下。

当regionserver中memstore的总大小达到java_heapsize * hbase.regionserver.global.memstore.size（默认值0.4）时，会阻止继续往所有的memstore写数据。

HLog数量上限

当WAL文件的数量超过hbase.regionserver.max.logs，region会按照时间顺序依次进行刷写，直到WAL文件数量减小到hbase.regionserver.max.log以下（该属性名已经废弃，现无需手动设置，最大值为32）

定时刷写

到达自动刷写的时间，也会触发memstore flush。自动刷新的时间间隔由该属性进行配置

hbase.regionserver.optionalcacheflushinterval

（默认1小时）

手动刷写

可以在客户端手动flush 表名 或 region名 或regionserver名

4、读流程

在这里插入图片描述

RegionServer返回数据

在这里插入图片描述

  • 1）Client先访问zookeeper，获取hbase:meta表位于哪个Region Server。
  • 2）访问对应的Region Server，获取hbase:meta表，根据读请求的namespace:table/rowkey，查询出目标数据位于哪个Region Server中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache，方便下次访问。
  • 3）向目标Region Server发送读请求；
  • 4）分别在MemStore和Store File（HFile）中查询目标数据，并将查到的所有数据进行合并。此处所有数据是指同一条数据的不同版本（time stamp）或者不同的类型（Put/Delete）。
  • 5）将查询到的新的数据块（Block，HFile数据存储单元，默认大小为64KB）缓存到Block Cache。
  • 6）将合并后的最终结果返回给客户端。

5、Region Split(Region切分)

默认情况下，每个Table起初只有一个Region，随着数据的不断写入，Region会自动进行拆分。刚拆分时，两个子Region都位于当前的Region Server，但处于负载均衡的考虑，HMaster有可能会将某个Region转移给其他的Region Server。

0.94版本之前的策略

0.94版本之前采取的是 ConstantSizeRegionSplitPolicy , 当一个Store（对应一个列族）的StoreFile大小大于配置

hbase.hregion.max.filesize（默认10G）

时就会拆分。

0.94版本之后的策略

0.94版本之后的切分策略取决于

hbase.regionserver.region.split.policy

参数的配置，默认使用

IncreasingToUpperBoundRegionSplitPolicy

策略切分region。

该策略分为两种情况，第一种为如果在当前RegionServer中某个Table的Region个数介于 0-100之间，那么当1个region中的某个Store下所有StoreFile的总大小超过

Min(initialSize*R^3 ,hbase.hregion.max.filesize")

，该Region就会进行拆分。其中initialSize的默认值为

2*hbase.hregion.memstore.flush.size

，R为当前Region Server中属于该Table的Region个数。

具体的切分策略为：

  • 第一次split：1^3 * 256 = 256MB
  • 第二次split：2^3 * 256 = 2048MB
  • 第三次split：3^3 * 256 = 6912MB
  • 第四次split：4^3 * 256 = 16384MB > 10GB，因此取较小的值10GB
  • 后面每次split的size都是10GB了。

第二种为如果当前RegionServer中某个Table的Region个数超过100个，则超过10GB才会切分一次region。

2.0版本之后的策略

Hbase 2.0引入了新的split策略：SteppingSplitPolicy。如果当前RegionSer ver上该表只有一个Region，按照

2 * hbase.hregion.memstore.flush.size

分裂，否则按照

hbase.hregion.max.filesize

分裂。

在这里插入图片描述

禁止分裂

region的分裂需要消耗一定的性能，因此如果对region已经提前预分区，那么可以设置禁止region自动分裂，即使用DisableSplitPolicy。

五、API

1、获取链接

publicConnectiongetConn(){Connection connection =null;try{
        connection =ConnectionFactory.createConnection();}catch(IOException e){
        e.printStackTrace();}return connection;}

2、获取Table对象

/**
 * 1、获取表对象
 */@TestpublicvoidgetTable()throwsIOException{Connection conn =newHbaseUtils().getConn();String tableName ="student";if(StringUtils.isBlank(tableName)){thrownewRuntimeException("表名非法");}Table table = conn.getTable(TableName.valueOf(tableName));}

3、Put

/**
 * 2、新增行数据
 *
 * @throws IOException
 */@TestpublicvoidtestPUt()throwsIOException{Connection conn =newHbaseUtils().getConn();String tableName ="student";Table table = conn.getTable(TableName.valueOf(tableName));ArrayList<Put> puts =newArrayList<>();
    puts.add(createPut("a3","info","name","jack"));
    puts.add(createPut("a3","info","age","20"));
    puts.add(createPut("a3","info","gender","male"));
    table.put(puts);
    table.close();}publicPutcreatePut(String rowkey,String cf,String cq,String value){Put put =newPut(Bytes.toBytes(rowkey));return put.addColumn(Bytes.toBytes(cf),Bytes.toBytes(cq),Bytes.toBytes(value));}

在这里插入图片描述

4、Get

/**
 * 3、get获取值
 *
 * @throws IOException
 */@TestpublicvoidgetTables()throwsIOException{Connection conn =newHbaseUtils().getConn();TableName tableName =TableName.valueOf("student");Table table = conn.getTable(tableName);Get get =newGet(Bytes.toBytes("a3"));Result result = table.get(get);//  打印结果parseResult(result);
    table.close();}/**
 * 遍历Get的一行结果
 * 一行由若干列组成，每个列都有若干个cell
 */publicvoidparseResult(Result result){//获取一行中最原始的cellCell[] cells = result.rawCells();//遍历for(Cell cell : cells){System.out.print("  rowkey："+Bytes.toString(CellUtil.cloneRow(cell)));System.out.print("  列名"+Bytes.toString(CellUtil.cloneFamily(cell))+":"+Bytes.toString(CellUtil.cloneQualifier(cell)));System.out.print("  值:"+Bytes.toString(CellUtil.cloneValue(cell)));System.out.println();}}

5、Scan

/**
 * 4、Scan查询数据
 *
 * @throws IOException
 */@TestpublicvoidtestScan()throwsIOException{//  创建表对象Connection conn =newHbaseUtils().getConn();TableName tableName =TableName.valueOf("student");Table table = conn.getTable(tableName);//  封装查询条件Scan scan =newScan();
    scan.withStartRow(Bytes.toBytes("a1"));
    scan.withStopRow(Bytes.toBytes("z1"));ResultScanner scanner = table.getScanner(scan);//  返回结果处理for(Result result : scanner){parseResult(result);}
    table.close();}

在这里插入图片描述

6、Delete删除

/**
 * 4、删除数据
 *
 * @throws IOException
 */@TestpublicvoidtestDelete()throwsIOException{Connection conn =newHbaseUtils().getConn();Table table = conn.getTable(TableName.valueOf("student"));Delete delete =newDelete(Bytes.toBytes("a3"));//  删一列的最新版本 向指定的列添加一个cell (type = Delete, ts = 最新的cell的ts)
    delete.addColumn(Bytes.toBytes("f1"),Bytes.toBytes("age"));//  删除这列的所有版本 向指定的列添加一个cell (type = DeleteColumn, ts = 当前时间)
    delete.addColumns(Bytes.toBytes("f1"),Bytes.toBytes("age"));//  删除列族的所有版本 向指定的行添加一个cell f1:,timestamp = 当前时间, type = DeleteFamily
    delete.addFamily(Bytes.toBytes("f1"));//  删除一行的所有列族
    table.delete(delete);
    table.close();}

7、完整代码

建表语句

create'student','info'

代码测试类

importorg.apache.commons.lang3.StringUtils;importorg.apache.hadoop.hbase.Cell;importorg.apache.hadoop.hbase.CellUtil;importorg.apache.hadoop.hbase.TableName;importorg.apache.hadoop.hbase.client.*;importorg.apache.hadoop.hbase.util.Bytes;importorg.junit.jupiter.api.Test;importjava.io.IOException;importjava.util.ArrayList;classHbaseUtilsTest{/**
     * 1、获取表对象
     */@TestpublicvoidgetTable()throwsIOException{Connection conn =newHbaseUtils().getConn();String tableName ="student";if(StringUtils.isBlank(tableName)){thrownewRuntimeException("表名非法");}Table table = conn.getTable(TableName.valueOf(tableName));}/**
     * 2、新增行数据
     *
     * @throws IOException
     */@TestpublicvoidtestPUt()throwsIOException{Connection conn =newHbaseUtils().getConn();String tableName ="student";Table table = conn.getTable(TableName.valueOf(tableName));ArrayList<Put> puts =newArrayList<>();
        puts.add(createPut("a3","info","name","jack"));
        puts.add(createPut("a3","info","age","20"));
        puts.add(createPut("a3","info","gender","male"));
        table.put(puts);
        table.close();}publicPutcreatePut(String rowkey,String cf,String cq,String value){Put put =newPut(Bytes.toBytes(rowkey));return put.addColumn(Bytes.toBytes(cf),Bytes.toBytes(cq),Bytes.toBytes(value));}/**
     * 3、get获取值
     *
     * @throws IOException
     */@TestpublicvoidgetTables()throwsIOException{Connection conn =newHbaseUtils().getConn();TableName tableName =TableName.valueOf("student");Table table = conn.getTable(tableName);Get get =newGet(Bytes.toBytes("a3"));Result result = table.get(get);//  打印结果parseResult(result);
        table.close();}/**
     * 遍历Get的一行结果
     * 一行由若干列组成，每个列都有若干个cell
     */publicvoidparseResult(Result result){//获取一行中最原始的cellCell[] cells = result.rawCells();//遍历for(Cell cell : cells){System.out.print("  rowkey："+Bytes.toString(CellUtil.cloneRow(cell)));System.out.print("  列名"+Bytes.toString(CellUtil.cloneFamily(cell))+":"+Bytes.toString(CellUtil.cloneQualifier(cell)));System.out.print("  值:"+Bytes.toString(CellUtil.cloneValue(cell)));System.out.println();}}/**
     * 4、Scan查询数据
     *
     * @throws IOException
     */@TestpublicvoidtestScan()throwsIOException{//  创建表对象Connection conn =newHbaseUtils().getConn();TableName tableName =TableName.valueOf("student");Table table = conn.getTable(tableName);//  封装查询条件Scan scan =newScan();
        scan.withStartRow(Bytes.toBytes("a1"));
        scan.withStopRow(Bytes.toBytes("z1"));ResultScanner scanner = table.getScanner(scan);//  返回结果处理for(Result result : scanner){parseResult(result);}
        table.close();}/**
     * 4、删除数据
     *
     * @throws IOException
     */@TestpublicvoidtestDelete()throwsIOException{Connection conn =newHbaseUtils().getConn();Table table = conn.getTable(TableName.valueOf("student"));Delete delete =newDelete(Bytes.toBytes("a3"));//  删一列的最新版本 向指定的列添加一个cell (type = Delete, ts = 最新的cell的ts)
        delete.addColumn(Bytes.toBytes("f1"),Bytes.toBytes("age"));//  删除这列的所有版本 向指定的列添加一个cell (type = DeleteColumn, ts = 当前时间)
        delete.addColumns(Bytes.toBytes("f1"),Bytes.toBytes("age"));//  删除列族的所有版本 向指定的行添加一个cell f1:,timestamp = 当前时间, type = DeleteFamily
        delete.addFamily(Bytes.toBytes("f1"));//  删除一行的所有列族
        table.delete(delete);

        table.close();}}

HbaseUtils

工具类

packagecom.lydms.demohbase.utils;importorg.apache.hadoop.hbase.client.Connection;importorg.apache.hadoop.hbase.client.ConnectionFactory;importjava.io.IOException;publicclassHbaseUtils{publicConnectiongetConn(){Connection connection =null;try{
            connection =ConnectionFactory.createConnection();}catch(IOException e){
            e.printStackTrace();}return connection;}publicvoidcloseConn(Connection connection)throwsIOException{if(connection !=null){
            connection.close();}}}

Resource目录下创建

hbase-site.xml

文件

<configuration><property><name>hbase.zookeeper.quorum</name><value>hadoop101,hadoop102,hadoop103</value></property></configuration>

pom文件

<!--   Hbase--><dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-server</artifactId><version>2.0.5</version><exclusions><exclusion><groupId>org.glassfish</groupId><artifactId>javax.el</artifactId></exclusion></exclusions></dependency><dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-client</artifactId><version>2.0.5</version></dependency><dependency><groupId>org.glassfish</groupId><artifactId>javax.el</artifactId><version>3.0.1-b06</version></dependency>

六、HBase使用设计

1、预分区

每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。那么依照这个原则，我们可以将数据所要投放的分区提前大致的规划好，以提高HBase性能。

  • 手动设定分区
create 'staff1','info', SPLITS =>['1000','2000','3000','4000']
  • 生成16进制序列预分区
create 'staff2','info',{NUMREGIONS =>15, SPLITALGO =>'HexStringSplit'}
  • 按照文件中设置的规则预分区

新建文件

splits.txt

aaaa
bbbb
cccc
dddd

执行脚本命令

create 'staff3', 'info',SPLITS_FILE =>'splits.txt'

2、RowKey设计

一条数据的唯一标识就是rowkey，那么这条数据存储于哪个分区，取决于rowkey处于哪个region的区间内，设计rowkey的主要目的 ，就是让数据均匀的分布于所有的region中，在一定程度上防止数据倾斜。接下来我们就谈一谈如何让rowkey足够散列。

  • 生成随机数、hash、散列值
原本rowKey为1001的，SHA1后变成：dd01903921ea24941c26a48f2cec24e0bb0e8cc7
原本rowKey为3001的，SHA1后变成：49042c54de64a1e9bf0b33e00245660ef92dc7bd
原本rowKey为5001的，SHA1后变成：7b61dec07e02c188790670af43e717f0f46e8913
  • 字符串反转
20170524000001转成10000042507102
20170524000002转成20000042507102
  • 字符串拼接
a12e_20170524000001
93i7_20170524000001

3、内存优化

HBase操作过程中需要大量的内存开销，毕竟Table是可以缓存在内存中的，但是不建议分配非常大的堆内存，因为GC过程持续太久会导致RegionServer处于长期不可用状态，一般16~36G内存就可以了，如果因为框架占用内存过高导致系统内存不足，框架一样会被系统服务拖死。

内存优化需要修改HBase家目录conf中的

hbase-env.sh

文件

#对master和regionserver都有效exportHBASE_HEAPSIZE=1G

#只对master有效exportHBASE_MASTER_OPTS=自定义的jvm虚拟机参数

#只对regionserver有效exportHBASE_REGIONSERVER_OPTS=自定义的jvm虚拟机参数

4、基础优化

1) RPC监听数量

hbase-site.xml

属性：hbase.regionserver.handler.count
解释：默认值为30，用于指定RPC监听的数量，可以根据客户端的请求数进行调整，读写请求较多时，增加此值。

2）手动控制Major Compaction

hbase-site.xml

属性：hbase.hregion.majorcompaction

解释：默认值：604800000秒（7天）， Major Compaction的周期，若关闭自动Major Compaction，可将其设为0

3）优化HStore文件大小

hbase-site.xml

属性：hbase.hregion.max.filesize

解释：默认值10737418240（10GB），如果需要运行HBase的MR任务，可以减小此值，因为一个region对应一个map任务，如果单个region过大，会导致map任务执行时间过长。该值的意思就是，如果HFile的大小达到这个数值，则这个region会被切分为两个Hfile。

4）优化HBase客户端缓存

hbase-site.xml

属性：hbase.client.write.buffer

解释：默认值2097152bytes（2M）用于指定HBase客户端缓存，增大该值可以减少RPC调用次数，但是会消耗更多内存，反之则反之。一般我们需要设定一定的缓存大小，以达到减少RPC次数的目的。

5）指定scan.next扫描HBase所获取的行数

hbase-site.xml

属性：hbase.client.scanner.caching

解释：用于指定scan.next方法获取的默认行数，值越大，消耗内存越大。

6）BlockCache占用RegionServer堆内存的比例

hbase-site.xml

属性：hfile.block.cache.size

解释：默认0.4，读请求比较多的情况下，可适当调大

7）MemStore占用RegionServer堆内存的比例

hbase-site.xml

属性：hbase.regionserver.global.memstore.size
解释：默认0.4，写请求较多的情况下，可适当调大
标签： hbase 数据库 大数据
本文转载自: https://blog.csdn.net/weixin_44624117/article/details/134615394
版权归原作者 ha_lydms 所有， 如有侵权，请联系我们删除。
登录后发布评论

“一篇文章完成Hbase入门”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？

文章导航