window环境下部署hbase(仅测试环境)

本文章目的是在window系统部署一套单机版的测试用hbase，项目甲方提供的hbase云服务比较老，正式环境请参见https://blog.csdn.net/hailishen/article/details/127303209。

一、环境准备

1. 下载hbase版本：https://archive.apache.org/dist/hbase/1.3.1/
2. 下载jdk，1.3.1只支持jdk8及以下：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html或者自行百度
3. 下载hadoop：http://archive.apache.org/dist/hadoop/core/hadoop-2.7.1/
4. 下载winutils：https://gitcode.net/mirrors/steveloughran/winutils，如果要用新版本的hbase，请看winutils页面的说明，似乎是使用了hadoop-bare-naked-local-fs插件

hbase和hadoop下载地址可以去掉最后一级目录后发现更多版本，根据winutils选择hadoop以及hbase

二、版本支持

详见：https://hbase.apache.org/book.html#basic.prerequisites

三、jdk安装

尽量选择zip版本的jdk，配置jdk环境变量自行百度。

四、部署hadoop

1. 解压下载的hadoop2.7.1到D盘，注意不要解压到包含中文和空格的路径D:\sdks\hadoop2.7.1。
2. 将下载的winutils覆盖到hadoop目录
3. 配置hadoop环境变量 右键单击我的电脑 –>属性 –>高级环境变量配置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME=D:\sdks\hadoop2.7.1； 在path中新增%HADOOP_HOME%\bin。
4. 配置文件core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://192.168.22.56:9000</value></property></configuration>

这里配置hdfs的端口为9000，也可以根据实际情况，配置为其它的端口，该地址将被hbase使用。

1. 修改配置文件hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.http-address</name><value>192.168.22.56:50070</value></property><property><name>dfs.namenode.name.dir</name><value>/D:/sdks/hadoop-2.7.1/data/dfs/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>/D:/sdks/hadoop-2.7.1/data/dfs/datanode</value></property></configuration>

这里配置的web界面地址为50070，可以通过浏览器在该端口访问hdfs。
6. 重命名mapred-site.xml.template为mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapred.job.tracker</name><value>hdfs://192.168.22.56:9001</value></property></configuration>

1. 修改配置文件yarn-site.xml

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.calss</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property></configuration>

1. 格式化namenode的hdfs

hdfs namenode –format

1. 启动 在sbin目录下找到start-all.cmd并执行

start-all.cmd

1. 查看运行服务

D:\sdks\jdk1.8.0_191\bin>jps
37828 QuorumPeerMain
45828 NodeManager
53748 Jps
10168 ResourceManager
42060 NameNode
56156 DataNode

1. 查看Web页面

五、部署hbase

1. 解压到d:\sdks\hbase1.3.1
2. 配置环境变量

HBASE_HOME=D:\sdks\hbase-1.3.1
path中添加：%HBASE_HOME%\bin

1. 配置hbase-env.cmd

setJAVA_HOME=D:/jdk1.8.0_271
setHBASE_CLASSPATH=D:\sdks\hbase-1.3.1
#只能使用内置zk，默认端口2181，由hbase.zookeeper.property.clientPort参数指定

1. 配置hbase-site.xml

#hbase.rootdir要与hadoop中的fs.defaultFS参数一致<property><name>hbase.rootdir</name><value>hdfs://192.168.22.56:9000</value></property><property><name>hbase.tmp.dir</name><value>D:/sdks/hbase-1.3.1/tmp</value></property><property><name>hbase.zookeeper.quorum</name><value>127.0.0.1</value></property><property><name>hbase.zookeeper.property.clientPort</name><value>2182</value></property><property><name>hbase.zookeeper.property.dataDir</name><value>D:/sdks/hbase-1.3.1/zoo</value></property><property><name>hbase.cluster.distributed</name><value>false</value></property>

启动后注册用的zookeeper端口为2182。
5. 启动关闭
进bin目录：start-hbase.cmd,stop-hbase.cmd
6. web界面查看
http://localhost:16010

六、特别提示

hbase客户端是通过访问zookeeper来获取hbase各个节点的，然后直接与各个节点通信，hbase注册到zookeeper时使用的是主机名，所以客户端要配置hosts，以便识别。
新版本使用16020端口，老版本使用动态端口，一般为56172，在http://localhost:16010可以查看。