0


CentOS7搭建伪分布式Hadoop(全过程2023)

具体操作目录

1.配置静态ip

2.关闭防火墙

在这里插入图片描述
在这里插入图片描述

3.修改主机名为 master ,并重启虚拟机

vi /etc/hostname

在这里插入图片描述

4.修改主机名与ip映射

在这里插入图片描述

5.设置SSH免密登录

在这里插入图片描述
在这里插入图片描述

6.安装配置java环境

可以使用XFTP,用物理主机链接虚拟机的centos传送java文件,或者直接去java官网下载文件,解压。配置文件,启动配置。
验证java是否配置好
输入:

java
javac
java -version

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

----------------------正式Hadoop配置

1.移动安装包到合适位置

在这里插入图片描述

2.解压安装包并重命名

在这里插入图片描述
在这里插入图片描述

3.配置环境变量

在这里插入图片描述
在这里插入图片描述

4.修改hadoop的核心配置文件:

修改六个配置文件hadoop-env.sh
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.启动与停止Hadoop

5.1NameNode格式化

启动hadoop之前需要格式化(具体在出现的问题第六点)

5.2启动、停止HDFS

在这里插入图片描述
验证:
在这里插入图片描述

5.3启动停止yarn

出现错误,解决和验证见问题8
成功:(到此hadoop安装配置就完结啦!)在这里插入图片描述

6.访问Hadoop

通过web 浏览器访问Hadoop的集群环境

出现的问题:

1.在这里插入图片描述

在/etc目录下修改sudoers文件,赋予权限。

2.为什么有步骤4

3.

下载hbase.bin.tar.gz(这里下的是2.2.2,因为我的hadoop是3.1.3版本的)
下载地址:https://archive.apache.org/dist/hbase/2.2.2/

4.为什么从8020变成了9000

5.配置完hadoop-env.sh文件后,运行命令:hadoop version

出现报错:ERROR: /usr/lib/jvm/bin/java is not executable
在这里插入图片描述

解决:本文件中的路径要与Java的配置文件(/etc/profile中的完全一致)
解决后,再次运行hadoop version
出现内容如下:
在这里插入图片描述

6.格式化错误

WARNING: /usr/local/hadoop/logs does not exist. Creating.
mkdir: 无法创建目录"/usr/local/hadoop/logs": 权限不够

在这里插入图片描述
命令如下:
在这里插入图片描述

7.报错:Warning: Permanently added ‘localhost’ (ECDSA) to the list of known hosts.

(还没去解决)

8.报错:start-yarn.sh Starting resourcemanagers on [] ERROR: /usr/lib/jvm/bin/java is not executable.

解决:
yarn-env.sh文件配置错误,java环境错误,要与java_home的完全一致在这里插入图片描述

标签: hadoop centos 分布式

本文转载自: https://blog.csdn.net/qq_51976555/article/details/116407478
版权归原作者 ~晚风微凉~ 所有, 如有侵权,请联系我们删除。

“CentOS7搭建伪分布式Hadoop(全过程2023)”的评论:

还没有评论