0


大数据平台环境搭建---- Hbase组件配置

前置环境

Hadoop集群必须部署完成,如果还没有搭建请先前往>>大数据平台环境搭建---- Hadoop组件配置

Zookeeper集群必须部署完成且未启动,如果还没有搭建请先前往>>大数据平台环境搭建---- Zookeeper组件配置

程序版本

hbase-1.2.1-bin.tar.gz zookeeper-3.4.14.tar.gz

资源下载:

**链接:https://pan.xunlei.com/s/VNoQ6d0mS3-BEOZ0D1El3lhsA1?pwd=r2jf# **

提取码:r2jf

HBase集群规划

HBase是一个面向列的分布式存储数据库。HBase的运行依赖于Hadoop和ZooKeeper。HBase利用HDFS作为其文件存储系统;利用MapReduce处理HBase中的数据;利用ZooKeeper作为分布式应用程序协调服务,同时存储HBase集群的元数据信息可以为HBase集群提供故障自动转移功能,以保证HBase集群的高可用。

操作流程

上传Hbase

使用FTP工具(xftp)上传Hbase的程序包到master

[root@master ~]# ls

hbase-1.2.1-bin.tar.gz

解压hbase的程序包

[root@master ~]# tar xf hbase-1.2.1-bin.tar.gz -C /usr/local/src/

解压后,修改Zookeeper文件夹名称

[root@master ~]# cd /usr/local/src/

[root@master src]# ls

hadoop jdk hbase-1.2.1

[root@master src]# mv hbase-1.2.1/ hbase

[root@master src]# ls

hadoop jdk hbase

配置环境变量

使环境变量仅对root用户生效,编辑root用户的环境变量

[root@master src]# vi /root/.bash_profile

修改后的文件状态

# .bash_profile

# Get the aliases and functions

if [ -f ~/.bashrc ]; then

        . ~/.bashrc

fi

# User specific environment and startup programs

JAVA_HOME=/usr/local/src/jdk

HADOOP_HOME=/usr/local/src/hadoop

HBASE_HOME=/usr/local/src/zookeeper

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin

export PATH

生效环境变量

[root@master src]# source /root/.bash_profile

配置hbase

进入hbase配置目录:cd /usr/local/src/hbase/conf/

编辑hbase配置文件:vi hbase-env.sh

# 指定JDK安装目录。

export JAVA_HOME=/export/servers/jdk1.8.0_161

#指定不使用内置的ZooKeeper

export HBASE_MANAGES_ZK=false                #128行

修改配置文件hbase-site.xml

在HBase安装目录下的conf目录,执行“vi hbase-site.xml”命令编辑HBase配置文件

hbase-site.xml,配置HBase相关参数。

<configuration>
      <property>

           <name>hbase.rootdir</name>

           <value>hdfs://master/hbase</value>

      </property>

      <property>

           <name>hbase.zookeeper.quorum</name>

           <value>master</value>

      </property>

      <property>

            <name>hbase.cluster.distributed</name>

            <value>true</value>

      </property>

            <name>hbase.unsafe.stream.capability.enforce</name>

            <value>true</value>

      </property>
</configuration>

修改配置文件regionservers

在HBase安装目录下的conf目录,执行“vi regionservers”命令编辑HBase配置文件

regionservers,配置运行HRegionServer所在的服务器主机名。

slave1

slave2

复制Hadoop配置文件

进入Hadoop安装目录的conf目录,将配置文件core-site.xml和hdfs-site.xml复制到HBase安装目录下的conf目录,用于HBase启动时读取Hadoop的核心配置信息和HDFS配置信息。

cp core-site.xml /usr/local/src/hbase/conf/

cp hdfs-site.xml /usr/local/src/hbase/conf

配置备用HMaster

在HBase安装目录下的conf目录,执行“vi backup-masters”命令编辑备用HMaster配置文件backup-masters,配置备用HMaster所在的服务器主机名.

slave1

分发HBase安装目录

为了便于快速配置HBase集群中其他服务器,将虚拟机Spark01中的HBase安装目录分发到虚拟机Spark02和Spark03。

scp -r /usr/local/src/hbase/ slave1:/usr/local/src/

scp -r /usr/local/src/hbase/ slave2:/usr/local/src/

拷贝环境变量

[root@master ~]# scp /root/.bash_profile slave1:/root/

.bash_profile 100% 359 35.9KB/s 00:00

[root@master ~]# scp /root/.bash_profile slave2:/root/

.bash_profile 100% 359 38.1KB/s 00:00

切换到slave服务机,刷新环境变量

[root@slave1 ~]# source /root/.bash_profile

[root@slave2 ~]# source /root/.bash_profile

启动HBase集群

[root@master conf]# start-hbase.sh

starting master, logging to /usr/local/src/hbase-1.2.1/bin/../logs/hbase-root-master-master.out
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0

至此——hbase集群搭建完成


本文转载自: https://blog.csdn.net/qq_74400992/article/details/135670903
版权归原作者 Grey_hat_cmd 所有, 如有侵权,请联系我们删除。

“大数据平台环境搭建---- Hbase组件配置”的评论:

还没有评论