0


HBase Shell 操作:自动拆分和预分区

第1关:HBase Shell 操作:自动拆分

任务描述
本关任务:在 HBase Shell 中使用自动拆分命令将并将查看到的命令结果复制到指定的文件中。

相关知识
为了完成本关任务,你需要掌握:

1.数据拆分;

2.数据自动拆分策略;

3.自动拆分策略的设置。

数据拆分
切分原因
数据切分的原因有如下几点:

数据分布不均匀
同一 Region Server 上数据文件越来越大,读请求也会越来越多。一旦所有的请求都落在同一个 Region Server 上,尤其是很多热点数据,必然会导致很严重的性能问题。

Compaction 性能损耗严重
Compaction 本质上是一个排序合并的操作,合并操作需要占用大量内存,因此文件越大,占用内存越多。Compaction 有可能需要迁移远程数据到本地进行处理,如果需要迁移的数据是大文件的话,带宽资源就会损耗严重。

启动 Hadoop 集群
start-all.sh
启动 Zookeeper 集群
zkServer.sh start
启动 HBase
start-hbase.sh  
进入 hbase shell
hbase shell
创建的表使用自动拆分命令:
create 'stu', {METADATA => {'SPLIT_POLICY' => 'org.apache.hadoop.hbase

第2关:HBase Shell 操作:预分区

任务描述
本关任务:在 HBase Shel

标签: hbase hadoop 大数据

本文转载自: https://blog.csdn.net/Junds0/article/details/130343972
版权归原作者 Ssaty. 所有, 如有侵权,请联系我们删除。

“HBase Shell 操作:自动拆分和预分区”的评论:

还没有评论