0


【详细版】Linux系统中搭建Hadoop

一、Hadoop单机版环境搭建

1、上传JDK至服务器

创建tools目录,用于存放文件

mkdir /opt/tools

切换tools目录,rz上传JDK安装包

jdk-8u361-linux-x64.tar.gz (文章结尾附安装包链接)

2、解压JDK安装包

创建server目录,用于存放JDK解压后的文件

mkdir /opt/server

解压至server目录

tar-zvxf jdk-8u131-linux-x64.tar.gz -C /opt/server

3、配置JDK环境变量

编辑 /etc/profile 文件

vim /etc/profile
# 文件末尾增加exportJAVA_HOME=/opt/server/jdk1.8.0_361
exportPATH=${JAVA_HOME}/bin:$PATH

执行source命令,使配置立即生效

source /etc/profile

检查是否安装成功

java-version

在这里插入图片描述

4、配置免密登录

Hadoop 组件之间需要基于 SSH 进行通讯,配置免密登录后不需要每次都输入密码

更改当前用户名为server,reboot后生效

echo"server"> /etc/hostname

配置映射,配置 ip 地址和主机名映射

vim /etc/hosts
# 文件末尾增加192.168.1.153 server

生成公钥私钥

ssh-keygen -t rsa

进入 ~/.ssh 目录下,查看生成的公匙和私匙,并将公匙写入到授权文件

cd ~/.ssh
cat id_rsa.pub >> authorized_keys
chmod600 authorized_keys

5、下载并解压Hadoop

切换/opt/tools目录下,rz上传Hadoop安装包

hadoop-3.3.4.tar.gz

解压Hadoop至server目录

tar-zvxf hadoop-3.3.4.tar.gz -C /opt/server/

6、配置Hadoop

(1)修改配置文件

进入/opt/server/hadoop-3.3.4/etc/hadoop 目录下,修改以下配置:

修改hadoop-env.sh文件,设置JDK的安装路径

vim hadoop-env.sh
exportJAVA_HOME=/opt/server/jdk1.8.0_361

修改core-site.xml文件,分别指定hdfs 协议文件系统的通信地址及hadoop 存储临时文件的目录

<configuration><property><!--指定 namenode 的 hdfs 协议文件系统的通信地址--><name>fs.defaultFS</name><value>hdfs://server:8020</value></property><property><!--指定 hadoop 数据文件存储目录--><name>hadoop.tmp.dir</name><value>/home/hadoop/data</value></property></configuration>

修改hdfs-site.xml,指定 dfs 的副本系数

<configuration><property><!--由于我们这里搭建是单机版本,所以指定 dfs 的副本系数为 1--><name>dfs.replication</name><value>1</value></property></configuration>

修改workers文件,配置所有从属节点

vim workers
# 配置所有从属节点的主机名或 IP 地址,由于是单机版本,所以指定本机即可:
server
(2)初始化并启动HDFS

关闭防火墙,不关闭防火墙可能导致无法访问 Hadoop 的 Web UI 界面

# 查看防火墙状态sudo firewall-cmd --state# 关闭防火墙:sudo systemctl stop firewalld
# 禁止开机启动sudo systemctl disable firewalld

第一次启动 Hadoop 时需要进行初始化,进入 /opt/server/hadoop-3.1.0/bin目录下,执行以下命令:

cd /opt/server/hadoop-3.1.0/bin

./hdfs namenode -format

在这里插入图片描述

Hadoop 3中不允许使用root用户来一键启动集群,需要配置启动用户

cd /opt/server/hadoop-3.1.0/sbin/
# 编辑start-dfs.sh、stop-dfs.sh,在顶部加入以下内容HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

启动HDFS,进入/opt/server/hadoop-3.3.4/sbin/ 目录下,启动 HDFS:

cd /opt/server/hadoop-3.3.4/sbin/

./start-dfs.sh

验证是否启动

方式一:执行 jps 查看 NameNode 和 DataNode 服务是否已经启动:

[root@server sbin]# jps1696 NameNode
2067 SecondaryNameNode
1863 DataNode
2183 Jps

方式二:查看 Web UI 界面,端口为 9870:

在这里插入图片描述

配置环境变量,方便启动

vim /etc/profile
exportHADOOP_HOME=/opt/server/hadoop-3.3.4
exportPATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
source /etc/profile

7、Hadoop(YAEN)环境搭建

(1)修改配置文件

进入/opt/server/hadoop-3.3.4/etc/hadoop 目录下,修改以下配置

修改mapred-site.xml文件

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property></configuration>

修改yarn-site.xml文件,配置 NodeManager 上运行的附属服务

<configuration><property><!--配置NodeManager运行的附属服务。需要配置成mapreduce_shuffle后才可以在Yarn上运行MapRedvimuce程序--><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>
(2)启动服务

Hadoop 3中不允许使用root用户来一键启动集群,需要配置启动用户

# start-yarn.sh stop-yarn.sh在两个文件顶部添加以下内容YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

进入 ${HADOOP_HOME}/sbin/ 目录下,启动 YARN

./start-yarn.sh

验证是否启动成功

方式一:执行 jps 命令查看 NodeManager 和 ResourceManager 服务是否已经启动

[root@server sbin]# jps1696 NameNode
2401 ResourceManager
2067 SecondaryNameNode
1863 DataNode
2856 Jps
2537 NodeManager

方式二:查看 Web UI 界面,端口为 8088

在这里插入图片描述

所需安装包链接:
链接:https://pan.baidu.com/s/1bw2PaENbWVBNt6JcrMO-BA?pwd=k7xj 
提取码:k7xj
标签: linux hadoop 大数据

本文转载自: https://blog.csdn.net/weixin_55928290/article/details/134161581
版权归原作者 蓝柑 所有, 如有侵权,请联系我们删除。

“【详细版】Linux系统中搭建Hadoop”的评论:

还没有评论