第1关:HBase Shell 操作:自动拆分
任务描述
本关任务:在 HBase Shell 中使用自动拆分命令将并将查看到的命令结果复制到指定的文件中。
相关知识
为了完成本关任务,你需要掌握:
1.数据拆分;
2.数据自动拆分策略;
3.自动拆分策略的设置。
数据拆分
切分原因
数据切分的原因有如下几点:
数据分布不均匀
同一 Region Server 上数据文件越来越大,读请求也会越来越多。一旦所有的请求都落在同一个 Region Server 上,尤其是很多热点数据,必然会导致很严重的性能问题。
Compaction 性能损耗严重
Compaction 本质上是一个排序合并的操作,合并操作需要占用大量内存,因此文件越大,占用内存越多。Compaction 有可能需要迁移远程数据到本地进行处理,如果需要迁移的数据是大文件的话,带宽资源就会损耗严重。
启动 Hadoop 集群
start-all.sh
启动 Zookeeper 集群
zkServer.sh start
启动 HBase
start-hbase.sh
进入 hbase shell
hbase shell
创建的表使用自动拆分命令:
create 'stu', {METADATA => {'SPLIT_POLICY' => 'org.apache.hadoop.hbase
第2关:HBase Shell 操作:预分区
任务描述
本关任务:在 HBase Shel
版权归原作者 Ssaty. 所有, 如有侵权,请联系我们删除。