0
0

ubuntu22.04下Hadoop单机模式伪分布式安装过程【全网最详细】

ubuntu22.04下Hadoop单机模式伪分布式安装过程

一、Hodoop伪分布式搭建

1 创建新用户，首先切换为root用户，添加新用户​​​​​​​hadoop

 sudo useradd -m hadoop -s /bin/bash

2设置密码

sudo passwd hadoop

3为新用户赋予root权限

sudo adduser hadoop sudo

3然后切换到Hodoop用户，执行更新命令

sudo apt-get update
sudo apt-get upgrade

4部分linux系统会自带vim编辑器，但若在终端无法启动该编辑器，则需要安装以待后续编辑配置文件，接下来跳出的提示回复Y即可

sudo apt-get install vim

参考 vim介绍

二、配置ssh

根据Hadoop分布式系统的特性，在任务计划分发、心跳监测、任务管理、多租户管理等功能上，需要通过SSH(Secure Shell)进行通讯，所以必须安装配置SSH。另因为Hadoop没有提供SSH输入密码登录的形式，因此需要将所有机器配置为NameNode可以无密码登录的状态

1.安装ssh服务

sudo apt-get install openssh-server

2.ssh本地连接

ssh localhost

3.设置无密码登录，进行无密码登录的设置，首先先退出刚刚ssh localhost的连接

exit

4.接下来生成密码并加入授权

cd ~/.ssh/
ssh-keygen -t rsa //遇到提示，一路回车即可
cat ./id_rsa.pub >> ./authorized_keys //加入授权

##三、配置Java环境，
3.1在虚拟机中安装jdk，安装jdk之前，需要先检查一下有没有安装过jdk 

java -version

查看有没有，如果有，请卸载干净再下
3.2.输入命令进行命令行安装

 sudo apt install openjdk-8-jre-headless

3.3安装完后，输入

echo $JAVA_HOME

查看jdk目录，这步很关键
我的如图所示
3.4通过vim编辑器打开环境变量的设置文件：

sudo vim ~/.bashrc

3.5首先到达文件底部，按o字母在当前行的下一行添加以下语句

export JAVA_HOME=
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

在这里插入图片描述
3.6按Esc键进入普通模式，然后输入**:wq**保存修改。然后使环境变量生效

source ~/.bashrc

3.7下载最新版Hadoop3.4.0
下载地址 Hadoop
在这里插入图片描述
3.8进入解压包存放的文件夹，右键属性查看压缩包的绝对路径，然后解压至/usr/local目录下

sudo tar -zxf /home/hadoop/下载/hadoop-3.4.0.tar.gz -C /usr/local

在这里插入图片描述
3.9进入刚刚解压后存放的目录下

cd /usr/local/

3.10将该文件夹的名字重命名为hadoop，屏蔽掉版本号的信息，使得后续命令行输入更为简便

sudo mv ./hadoop-3.4.0/ ./hadoop

3.11将已重命名的该文件夹的拥有者，指定给用户hadoop，缺少这一步，将导致后续操作特别是运行Hadoop时，反复因权限不足而停止：

sudo chmod 777 -R /usr/local/hadoop

R:对目前目录下的所有档案与子目录进行相同的权限变更(即以递回的方式逐个变更)

777:高权限（读、写、执行）

3.12 hadoop实际运行时仍会出现找不到java-jdk的现象，故再对hadoop的环境文件进行修改，进入目录：

cd ./hadoop/etc/hadoop

3.13使用vim编辑器，打开环境变量文件

sudo vim ~/.bashrc

3.14按字母o进入插入模式在当前行的下一行添加该语句

#HADOOP VARIABLES START 
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL 
export HADOOP_COMMON_HOME=$HADOOP_INSTALL 
export HADOOP_HDFS_HOME=$HADOOP_INSTALL 
export YARN_HOME=$HADOOP_INSTALL 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END

3.15按Esc键退出，然后输入**:wq**保存修改。然后使环境变量生效：

source ~/.bashrc

3.16hadoop框架已经搭建好了，可以通过调用版本号进行测试hadoop是否可用，正确搭建应该能看到hadoop的版本号等信息：

cd /usr/local/hadoop
./bin/hadoop version

四、配置文件

1.打开hadoop文件夹下的hadoop文件中，配置hadoop-env.sh

sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

添加如下代码

export JAVA_HOME=**改成自己的jdk路径**
export HADOOP=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin

2.先打开 core-site.xml文件，将替换为以下内容

sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml

添加如下语句

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

3.打开hdfs-site.xml文件：hdfs-site.xml进行同样的替换操作

sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>
  1. 打开yarn-env.sh，配置yarn-env.sh文件，添加以下代码
sudo vim /usr/local/hadoop/etc/hadoop/yarn-env.sh

添加自己变量

JAVA_HOME=和上面的变量地址一样

6.配置yarn-site.xml，将替换为以下内容

sudo vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

<configuration> 
<!-- Site specific YARN configuration properties -->
    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property> 
    <property> 
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
        <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.address</name> 
        <value>127.0.0.1:8032</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.scheduler.address</name> 
        <value>127.0.0.1:8030</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.resource-tracker.address</name> 
        <value>127.0.0.1:8031</value> 
    </property> 
</configuration>

五 启动HDFS伪分布式模式

格式化namenode
hdfs namenode -format

显示信息内若包含以下内容successfully formatted，则说明成功格式化
在这里插入图片描述
2.启动hdfs

start-all.sh

在这里插入图片描述
3.显示进程

jps

4.有六个进程表示正确
在这里插入图片描述
5.打开浏览器localhost:9870/
在这里插入图片描述
注：因为安装的是3.x版本，所以是9870，而不是57007，这个是2.x版本的
6.打开浏览器http://localhost:8088/
在这里插入图片描述
7.成功安装，停止Hadoop

stop-all.sh

参考原文链接：https://blog.csdn.net/weixin_50767513/article/details/128078096进行详细补充和修改，有安装不了的可以评论，我帮助解决

标签： 1024程序员节
本文转载自: https://blog.csdn.net/weixin_52450809/article/details/143216912
版权归原作者 科研小廖 所有， 如有侵权，请联系我们删除。
登录后发布评论

“ubuntu22.04下Hadoop单机模式伪分布式安装过程【全网最详细】”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

使用 scp 指令互传（一种在不同主机之间进行文件传输的安全手段，基于SSH协议）

【数据结构与算法】合并链表、链表分割、链表回文结构

IntelliJ IDEA 2024.3（Ultimate Edition）免费化教学

毕业设计：基于python商品数据采集分析可视化系统 淘宝数据采集 大数据 大屏可视化（附源码+论文）

Java通过calcite实时读取kafka中的数据

【前端】CSS格式化上下文详解

Web 攻防：PHP特性漏洞 - MD5值比较绕过

文章导航