Ubuntu安装Hadoop3.1.3教程

环境

本教程使用Ubuntu16.04 64位作为系统环境

前期准备

进入终端，输入命令创建新用户为Hadoop

sudo useradd -m hadoop -s /bin/bash

使用命令设置密码，这里“Hadoop”表示用户名为Hadoop安装指令输入密码

sudo passwd hadoop

将管理员权限授予给Hadoop用户

sudo adduser hadoop sudo

完成后进入登陆界面登录进入Hadoop用户

进入Hadoop用户后先更新apt,后续会使用到apt，打开终端输入命令

sudo apt-get update

在安装后续需要下载一些配置文件，在这里下载的是vim（vi的加强版，用法与vi相似）

sudo apt-get install vim

在安装时需要进行手动确认，在提示处输入y即可

无论是Hadoop的集群模式还是单机节点模式都需要用到ssh登录，所以还需要安装ssh server

sudo apt-get install openssh-server

完成ssh的安装后即可直接使用ssh登录本机

ssh localhost

第一次使用ssh登录本机时需要输入yes后按提示密码

接下来进行ssh的无密码设置

exit                           # 退出进入的 ssh localhost
cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，所有直接按回车即可
cat ./id_rsa.pub >> ./authorized_keys  # 添加无密码授权

再次使用ssh localhost即可进行无密码登录

ssh localhost

hadoop3.1.3需要使用是JDK版本在1.8以上是，在这里安装JDK1.8

将JDK1.8的安装包传入虚拟机系统中（可以通过虚拟机的共享文件系统上传，也可以使用QQ邮箱在虚拟机系统上登录进行上传，方式很多，黑猫白猫抓到老鼠就是好猫）

cd /usr/lib      进入到usrd的lib目录下
sudo mkdir jvm   创建/usr/lib/jvm目录用来存放JDK文件
cd ~ 进入hadoop用户的主目录
cd /home/fatcat/下载  JDK安装包的位置
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm  把JDK文件解压到/usr/lib/jvm目录下

完成JDK文件的解压后可在刚刚创建的目录jvm中查看

cd /usr/lib/jvm
ls

接下来开始配置JDK的环境变量

cd ~
vim ~/.bashrc

在打开的文件中添加语句（打开文件后，先按“i”键进入编辑模式后添加以下语句，完成后按“ESC”键返回打开文件时的正常模式后输入“：wq”进行文件的保存并提出vim)

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

完成配置后输入代码让文件生效

source ~/.bashrc

可以输入以下代码检验JDK是否安装成功

java -version

若返回以下信息则说明成功

hadoop@ubuntu:~$ java -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

完成后便可进入Hadoop的安装

安装Hadoop

将Hadoop下载到虚拟机中并进行解压

sudo tar -zxf ~/home/ftacat/下载/hadoop-3.1.3.tar.gz -C /usr/local    将hadoop 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-3.1.3/ ./hadoop            将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop       修改文件权限

完成后可以通过检查Hadoop版本信息来确认是否安装完成

./bin/hadoop version

接下来进行Hadoop伪分布式的配置

进入目录usr/local/hadoop/etc/hadoop中，打开core-site.xml文件进行编辑

将<configuration>
</configuration>更改成

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

同时将hdfs-site.xml进行编辑

将<configuration>
</configuration>更改成

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

完成后将Namenode格式化

cd /usr/local/hadoop
./bin/hdfs namenode -format

若成功则会有以下返回信息（successfully formatted)

完成后开启datanade和namenode

cd /usr/local/hadoop
./sbin/start-dfs.sh  #start-dfs.sh是个完整的可执行文件，中间没有空格

若出现输入提示，输入y

完成后可通过jps进行检验Hadoop是否启动成功