Hadoop部署本地模式

​ 本地模式，即运行在单台机器上。没有分布式的思想，使用的是本地文件系统。使用本地模式主要是用于对MapReduce的程序的逻辑进行调试，确保程序的正确性。由于在本地模式下测试和调试MapReduce程序较为方便，因此，这种模式适合用在开发阶段。

平台软件说明
平台&软件说明宿主机操作系统Windows / MacOS虚拟机操作系统CentOS 7虚拟机软件Windows: VMWare
MacOS: Parallels DesktopSSH工具Windows: MobaXterm / FinalShell
MacOS: FinalShell / iTerm2软件包上传路径/root/softwares软件安装路径/usr/localJDKX64: jdk-8u321-linux-x64.tar.gz
ARM: jdk-8u321-linux-aarch64.tar.gzHadoopX64: hadoop-3.3.1.tar.gz
ARM: hadoop-3.3.1-aarch64.tar.gz用户root
安装JDK

1. 卸载之前的JDK# 卸载之前的原因，主要是需要保证安装的JDK版本的正确性。[root@qianfeng01 ~]# rpm -qa | grep jdk # 如果有,请卸载[root@qianfeng01 ~]# rpm -e xxxxxxxx --nodeps # 将查询到的内置jdk强制卸载复制代码
2. 上传JDK安装包到指定的路径使用MobaXterm或者FinalShell直接上传即可，上传到 /root/softwares 下复制代码
3. 解压JDK到指定安装路径[root@qianfeng01 ~]# cd /root/softwares && tar -zxvf jdk-8u321-linux-x64.tar.gz -C /usr/local复制代码
4. 配置环境变量[root@qianfeng01 local]# vim /etc/profile...上述内容省略，在末尾添加即可...# Java Environmentexport JAVA_HOME=/usr/local/jdk1.8.0_321export PATH=$PATH:$JAVA_HOME/bin复制代码
5. 重新引导，使得环境变量生效[root@qianfeng01 local]# source /etc/profile复制代码
6. 验证JDK是否配置完成[root@qianfeng01 local]# java -version复制代码

安装Hadoop

1. 上传Hadoop到指定的路径使用MobaXterm或者FinalShell上传到 /root/softwares 下即可复制代码
2. 解压安装[root@qianfeng01 ~]# cd /root/softwares && tar -zxvf hadoop-3.3.1.tar.gz -C /usr/local复制代码
3. 配置环境变量[root@qianfeng01 ~]# vim /etc/profile...上述内容省略，在最下方添加即可...# Hadoop Environmentexport HADOOP_HOME=/usr/local/hadoop-3.3.1export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin复制代码
4. 重新引导，使得环境变量生效[root@qianfeng01 ~]# source /etc/profile复制代码
5. 验证是否配置成功[root@qianfeng01 ~]# hadoop version复制代码

Hadoop的目录说明Hadoop的目录说明

iShot2022-01-28 12.22.58

案例演示

1. 新建一个目录，存放文本文件# 将若干个存储单词的文件放入这个目录下[root@qianfeng01 ~]# mkdir ~/input复制代码
2. 执行wordcount[root@qianfeng01 ~]# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount ~/input ~/output复制代码
3. 查看结果[root@qianfeng01 ~]# cat ~/output/*复制代码

案例演示: pi

直接计算pi的结果

[root@qianfeng01 ~]# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar pi 10 10

也可以观看视频：

大数据简介-什么是大数据