【Linux】安装hadoop详细步骤

.

一.安装JDK

本人的有道原文贴 本人的有道原文贴https://note.youdao.com/s/QXu3e5cW

1.查看安装后的镜像中是否存在Java

java -version

openjdk version "1.8.0_181"OpenJDKRuntimeEnvironment(build 1.8.0_181-b13)OpenJDK64-BitServer VM (build 25.181-b13, mixed mode)

如果有并且版本前是OpenJDK的话需要卸载，安装Oracle JDK

1.1.卸载OpenJDK

rpm -e --nodeps java-1.8.0-openjdk
rpm -e --nodeps javapackages-tools
rpm -e --nodeps java-1.8.0-openjdk-headless
rpm -e --nodeps tzdata-java

2.安装jdk

mkdir -p /export/server     //创建jdk的安装目录

2.1上传jdk，这里选用的是jdk-8u291版本的，一般jdk版本在1.8以上即可

yum -y install lrzsz    //从Windows上拖动文件到Linux的插件

这里在xshell里先进入jdk的安装目录 /export/server ，再进行文件拖动

2.2解压文件

tar -zxvf jdk-8u291-linux-x64.tar.gz 

2.3配置JDK环境变量

vim /etc/profile

//文件末尾加上
export JAVA_HOME=/export/server/jdk1.8.0_291
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

//更新环境变量的配置文
 source /etc/profile

2.4检验Java是否配置成功

java -version

//显示以下内容成功
java version "1.8.0_291"Java(TM) SE RuntimeEnvironment(build 1.8.0_291-b10)JavaHotSpot(TM)64-BitServer VM (build 25.291-b10, mixed mode)

二.安装hadoop

上传Hadoop安装包，同上面上传JDK一样的操作 也是放在

/export/server

目录下

1.解压Hadoop安装包，并设置环境

tar -zxvf hadoop-2.7.4.tar.gz   //解压

vim /etc/profile  //修改环境//文件末尾加上
export HADOOP_HOME=/export/server/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

//更新环境变量的配置文

 source /etc/profile

//检查安装，出现下面内容表示成功

hadoop version   

Hadoop 2.7.4
Subversion https://[email protected]/repos/asf/hadoop.git -r cd915e1e8d9d0131462a0b7301586c175728a282
Compiled by kshvachk on 2017-08-01T00:29Z
Compiled with protoc 2.5.0
From source with checksum 50b0468318b4ce9bd24dc467b7ce1148
This command was run using /export/server/hadoop-2.7.4/share/hadoop/common/hadoop-common-2.7.4.jar

2.修改配置文件

cd /export/server/hadoop-2.7.4/etc/hadoop///进入配置文件目录
ll  //查看文件//检查是否有下列配置文件，没有则安装错误-rw-r--r--.12041510144368月   12017 capacity-scheduler.xml
-rw-r--r--.12041510113358月   12017 configuration.xsl
-rw-r--r--.1204151013188月   12017 container-executor.cfg
-rw-r--r--.1204151017748月   12017 core-site.xml
-rw-r--r--.12041510136708月   12017 hadoop-env.cmd
-rw-r--r--.12041510142248月   12017 hadoop-env.sh
-rw-r--r--.12041510125988月   12017 hadoop-metrics2.properties
-rw-r--r--.12041510124908月   12017 hadoop-metrics.properties
-rw-r--r--.12041510196838月   12017 hadoop-policy.xml
-rw-r--r--.1204151017758月   12017 hdfs-site.xml
-rw-r--r--.12041510114498月   12017 httpfs-env.sh
-rw-r--r--.12041510116578月   12017 httpfs-log4j.properties
-rw-r--r--.120415101218月   12017 httpfs-signature.secret
-rw-r--r--.1204151016208月   12017 httpfs-site.xml
-rw-r--r--.12041510135188月   12017 kms-acls.xml
-rw-r--r--.12041510115278月   12017 kms-env.sh
-rw-r--r--.12041510116318月   12017 kms-log4j.properties
-rw-r--r--.12041510155408月   12017 kms-site.xml
-rw-r--r--.120415101112378月   12017 log4j.properties
-rw-r--r--.1204151019518月   12017 mapred-env.cmd
-rw-r--r--.12041510113838月   12017 mapred-env.sh
-rw-r--r--.12041510141138月   12017 mapred-queues.xml.template
-rw-r--r--.1204151017588月   12017 mapred-site.xml.template
-rw-r--r--.120415101108月   12017 slaves
-rw-r--r--.12041510123168月   12017 ssl-client.xml.example
-rw-r--r--.12041510126978月   12017 ssl-server.xml.example
-rw-r--r--.12041510122508月   12017 yarn-env.cmd
-rw-r--r--.12041510145678月   12017 yarn-env.sh
-rw-r--r--.1204151016908月   12017 yarn-site.xml

2.1修改 hadoop-env.sh 文件

vim hadoop-env.sh

修改以下位置

2.2修改 core-site.xml 文件

注意：hdfs://hadoop1:9000 hadoop1是主机名，自己安装配置的时候要写自己Linux上的主机名。

hostname     //查看自己的主机名
hostnamectl set-hostname 新主机名   //永久修改马上生效（显示时可能不是最新的但其实已经更新了）

vim core-site.xml

//加入以下内容，configuration标签不用重复写

<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop1:9000</value></property><property><name>hadoop.tmp.dir</name><value>/export/server/hadoop-2.7.4/tmp</value></property></configuration>

2.3修改 hdfs-site.xml 文件

vim hdfs-site.xml

//加入以下内容，configuration标签不用重复写

<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>

3.初始化文件系统

3.1.初始化名称节点

hdfs namenode -format

最后几行中看见红框内容说明成功了

3.2.文件系统初始化成功,启动hdfs

start-dfs.sh

这里会有三次确定与三次输入密码，密码时登录Linux的密码

3.3启动之后，通过 jps 指令查询所有的java进程

jps

//有以下内容说明启动成功70164SecondaryNameNode69526NameNode69883DataNode71691Jps

3.4访问页面

如果你的Linux系统装有图形化界面就打开自带的浏览器输入

http://hadoop1:50070

进行访问 会出现下面的界面
如果你的Linux系统没有图形化界面，则先放行端口，再去window上 访问

http://虚拟机ip:50070

进行访问