0


HBase集群部署

文章目录

  HBase是一个面向列的分布式存储数据库。HBase的运行依赖于Hadoop和ZooKeeper,HBase利用HDFS作为其文件存储系统;利用MapReduce处理HBase中的数据;利用ZooKeeper作为分布式应用程序协调服务,同时存储HBase集群的元数据信息可以为HBase集群提供故障自动转移功能,以保证HBase集群的高可用。集群规划如下图所示:

在这里插入图片描述

一、安装HBase集群

  1. 下载HBase 访问Apache资源网站下载Linux操作系统的HBase安装包hbase-1.2.1-bin.tar.gz。

注意:还没有下载安装包的,下载地址可以去这里查看:大数据相关常用软件下载地址集锦

  1. 上传HBase安装包 使用SecureCRT远程连接工具连接虚拟机Spark01,在存放应用安装包的目录/export/software/下执行“rz”命令上传HBase安装包。
  2. 安装HBase 在虚拟机Spark01中,通过解压缩的方式安装HBase,将HBase安装到存放应用的目录/export/servers/。tar -zxvf /export/software/hbase-1.2.1-bin.tar.gz -C /export/servers/
  3. 修改配置文件hbase-env.sh 在HBase安装目录下的conf目录,执行“vi hbase-env.sh”命令编辑HBase配置文件hbase-env.sh,配置HBase运行时的相关参数。
# 指定JDK安装目录。
export JAVA_HOME=/export/servers/jdk1.8.0_161
#指定不使用内置的ZooKeeper
export HBASE_MANAGES_ZK=false
  1. 修改配置文件hbase-site.xml 在HBase安装目录下的conf目录,执行“vi hbase-site.xml”命令编辑HBase配置文件hbase-site.xml,配置HBase相关参数。
<property >
      <name>hbase.rootdir</name>#HBase集群中所有HRegionServer共享目录,用来持久化HBase的数据
      <value>hdfs://master/hbase</value>
</property>
<property >
      <name>hbase.cluster.distributed</name>#设置HBase的存储模式为分布式存储
      <value>true</value>
</property>
<property>
      <name>hbase.zookeeper.quorum</name>#设置ZooKeeper的服务器地址
     <value>spark01:2181,spark02:2181,spark03:2181</value>
</property>
  1. 修改配置文件regionservers 在HBase安装目录下的conf目录,执行“vi regionservers”命令编辑HBase配置文件regionservers,配置运行HRegionServer所在的服务器主机名。
spark02
spark03
  1. 复制Hadoop配置文件 进入Hadoop安装目录的conf目录,将配置文件core-site.xml和hdfs-site.xml复制到HBase安装目录下的conf目录,用于HBase启动时读取Hadoop的核心配置信息和HDFS配置信息。cp {core-site.xml,hdfs-site.xml} /export/servers/hbase-1.2.1/conf/
  2. 配置备用HMaster 在HBase安装目录下的conf目录,执行“vi backup-masters”命令编辑备用HMaster配置文件backup-masters,配置备用HMaster所在的服务器主机名spark02。
  3. 分发HBase安装目录 为了便于快速配置HBase集群中其他服务器,将虚拟机Spark01中的HBase安装目录分发到虚拟机Spark02和Spark03。
scp -r /export/servers/hbase-1.2.1/ root@spark02:/export/servers/
scp -r /export/servers/hbase-1.2.1/ root@spark03:/export/servers/
  1. 配置HBase环境变量 分别在虚拟机Spark01、Spark02和Spark03,执行“vi /etc/profile”命令编辑系统环境变量文件profile,配置HBase环境变量。
export HBASE_HOME=/export/servers/hbase-1.2.1
export PATH=$PATH:$HBASE_HOME/bin

系统环境变量文件profile配置完成后保存并退出即可,随后执行“

source /etc/profile

”命令初始化系统环境变量使配置内容生效。

二、 启动HBase集群

  1. 在确保ZooKeeper集群和Hadoop高可用集群正常启动的情况下,在虚拟机Spark01中执行“start-hbase.sh”命令启动HBase高可用集群。在这里插入图片描述在这里插入图片描述在这里插入图片描述 注意:启动HBase集群警告   若启动HBase时出现“Java HotSpot™ 64-Bit Server VM warning: ignoring option xxx; support was removed in 8.0”警告信息,这是因为我们使用JDK的版本为8,此时我们可以在hbase-env.sh文件中注释如下内容即可,再次重启HBase集群便不会再出现警告。
#export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
#export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"

好了,HBase的集群部署我们就讲到这里了,下一篇我们将讲解Kafka集群部署
转载自:https://blog.csdn.net/u014727709/article/details/131216154
欢迎start,欢迎评论,欢迎指正

标签: hbase 大数据 hadoop

本文转载自: https://blog.csdn.net/u014727709/article/details/131216154
版权归原作者 想你依然心痛 所有, 如有侵权,请联系我们删除。

“HBase集群部署”的评论:

还没有评论