ubutu系统下Hadoop的下载与配置

我就说的白话一些，你能理解就好。

前置条件

首先前置条件为你已经下载安装好VMware虚拟机，同时在网上找到了ubutu的镜像文件。

安装ubutu系统，创建linux虚拟机

安装ubutu

按照图片上的步骤选择

注意！！如果你的笔记本电脑没有显卡，比如轻薄本，上面这个【显示】中把【加速3D图形】勾掉，默认式勾上的，但电脑没有显卡，后续就会卡住，一启动虚拟机就闪退。

选中文，其他的都next

自己起个账户名

等它安完

恭喜你，完成了第一步

立即重启就行

很好你已经成功进入了ubutu的主界面,下面为一些偏好设置，可以跳过，进入下一部分

偏好设置-界面大小（不必要）

首先点击左下角小圆圈，再点击setting(设置)进入设置界面

下载hadoop与java jdk

第一步：下东西，hadoop,java jdk
把你的hadoop下载下来
自己安装到一个文件夹内，然后啥都不要碰
把你的jdk下载下来

下载openjdk

一般来说ubutu中自带openjdk，它相当于式开源的javajdk，所以我们可以无需安装javajdk，确认一下你的openjdk,打开命令行面板（ctrl+alt+t）输入下列代码

java -version

我这里显示出系统内有openjdk1.8.0，所以无需下载javajdk.

如果没有显示，在命令行中输入

sudo apt install openjdk-8-jdk

再确认是否安装成功

下载hadoop

不用命令行下载

Index of /hadoop/common 这是hadoop下载的官网，咱就不用命令行了，你直接用火狐打开输进去，然后挑一个版本下载，目前最新的版本是3.4.0

点进去后找到这个压缩包，点击下载。

下载完之后打开它的文件位置解压至一个你能找到的地方

作者本人是直接解压到了主文件夹，方便操作

使用命令行下载

在官网中获取下载hadoop3.4.0

wget https://downloads.apache.org/hadoop/common/hadoop-3.4.0/hadoop-3.4.0.tar.gz

解压

tar -xzvf hadoop-3.4.0.tar.gz

移到你想要存的地方

/home/xiaochen/hadoop是我存放的地方，这里的xiaochen是我的账户名，也就是主文件夹

sudo mv hadoop-3.4.0 /home/xiaochen/hadoop

查看是否安装成功

打开命令行(ctrl+alt+t)输入下列代码

hadoop version

结果显示你成功的下载并安装了hadoop3.4.0！

将hadoop写入环境变量

打开命令行输入下列代码

sudo nano ~/.bashrc

结果如图

下拉至左下方填入下列两行

export PATH=$PATH:/home/xiaochen/hadoop/bin
export PATH=$PATH:/home/xiaochen/hadoop/sbin

这里的/home/xiaochen/hadoop改为你的hadoop的路径

然后输入ctrl+x离开，输入y保存，再按enter退出

在命令行中输入下列代码，使你的环境变量生效

source ~/.bashrc

好的，你的hadoop环境变量已经装填完毕

接下来，要开始配置hadoop了

hadoop配置与启动

首先进入hadoop文件夹，因为配置操作可以用命令行也可以你自己在文件夹中一个一个挑出来再用文本编辑器修改，所以我主要讲命令行操作

命令行（ctrl+alt+t）,输入下列代码

cd /home/xiaochen/hadoop/etc/hadoop

实际上就是下面这个文件夹，我们要修改里面的几个xml文件，如果你能把他们手动找出来，也可以不用命令行

配置hadoop-env.sh

首先使用vim（文本编辑器）打开hadoop-env.sh文件

vim hadoop-env.sh

然后再输入i进入插入模式，下方会出现插入二字

在里面空白处输入

这里第一行=后面的是你的openjdk的位置

下面三行改成你自己的账户名就行

配置core-site.xml

命令行输入

vim core-site.xml

然后再输入i进入插入模式，下方会出现插入二字

往下翻，找到图中结构

把这个结构替换为

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/xiaochen/hadoop/tmp</value>
    <description>A base for other temporary directories.</description>
  </property>
</configuration>

然后按esc返回正常状态，再输入:wq退出，返回命令行

这里的/home/xiaochen/hadoop/tmp，把xiaochen换成你自己的账户名，并在hadoop文件夹中新建一个tmp文件夹

如上图所示

配置hdfs-site.xml

命令行输入

vim hdfs-site.xml

然后再输入i进入插入模式，下方会出现插入二字

往下翻，找到图中结构

将其替换为

这是很关键的一步哦，这里面两个地址/home/xiaochen/hadoop/dfs 中xiaochen换成你的账户名

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/xiaochen/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/xiaochen/hadoop/dfs/data</value>
  </property>
</configuration>

然后按esc返回正常状态，再输入:wq退出，返回命令行

并在hadoop文件夹下新增dfs文件夹，并在新增的dfs文件夹中新增name文件夹和data文件夹（ctrl+shift+n新增文件夹快捷键）

如上图所示

配置mapred-site.xml

命令行输入

vim mapred-site.xml

然后再输入i进入插入模式，下方会出现插入二字

往下翻，找到图中结构

替换为

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

然后按esc返回正常状态，再输入:wq退出，返回命令行

配置yarn-site.xml

命令行输入

vim yarn-site.xml

然后再输入i进入插入模式，下方会出现插入二字

往下翻，找到图中结构

替换为

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

然后按esc返回正常状态，再输入:wq退出，返回命令行

格式化HDFS文件系统

命令行输入

hdfs namenode -format

启动！！！

命令行输入

start-dfs.sh

检查你的hadoop是否正常启动，

输入

jps

如果出现如下四行正在启动的进程信息：分别是datanode,secondarynamenode,namenode,jps

那么恭喜你，你成功启动了hadoop!!!

结语

希望这些大白话能帮到你，如果没有，那就当我没说过。