0
0

Hadoop,VMware,Xshell,Xftp,CentOS,安装和部分问题详解（真的很详细）

Hadoop想必困扰很多学生，笔者就弄了一周，这里本人亲手写和实践的一份超详细的安装流程

黑字为正文

淡淡色字为错误解决方案，没错误可以跳过，本人的错误并不涵盖每个人的错误，主要是笔者在弄这个的时候遇到的坎

开始必看：

Ctrl + l可以清屏，后面可能你会用到

修改文件按进入后按i，保存退出先按esc，再按shift和：键，输入wq，然后回车

1.开启windows虚拟机平台的许可

在第一步你啥也不用做，打开控制面板

右上角搜索“Windows功能”

点击“启用或关闭Windows”功能

勾选“虚拟机平台”然后点击确定，重启电脑

2.安装VMware Workstation Pro

链接: https://pan.baidu.com/s/1Bmei-6T3Zsdvbs8VaGVDHQ?pwd=ywps 提取码: ywps

然后去某个地方买个激活码，激活一下，我这个版本是16

如果你有破解版，当我没说

如果链接失效，找卖激活码的商家要一份

现在我默认你装好了VM，开始下一步吧

3.下载CentOS

链接: https://pan.baidu.com/s/1WUV2VxDpUavSXtspSMgcBw?pwd=urux 提取码: urux

链接失效，就去找你同学要一份，因为：

1.下载速度慢

2.官网现在界面和以前不一样（反正我这个大呆瓜没找到）

新版打咩，最好要老一点的版本。

笔者用的是CentOS7

4.安装你的第一部虚拟机

打开VMware，点击创建新的虚拟机

按图配置xdm

注意，这个地方要用“浏览”选择你安装的CentOS的iso文件，有些计算机能自动检测

名称随意，我这夹带私货，是《新世纪福音战士》

处理器内核选两个

4GB内存完全够用

虚拟机就此设置完成

但是，这只是一小步

5.设置虚拟机

使用VMware

启动，点击一下中间屏幕，按enter，等候安装界面出现

出现后选简体中文（如果你是外国人，当我没说）

点右下角“继续”

**注意，不要点击开始安装，这里还有小小的几步 **

（1）点击安装位置

检查一下安装位置是否正确

如果没问题，点击“完成”退出就好

（2）点击“网络和主机名”

右上角打开网络，并在下方修改主机名

当你点开网络时，应该是这样的

当然，如果你不能正常连上，请按照如下操作

1.打开控制面板

2.如图操作->网络和Internet->网络和共享中心->更改适配器设置

3.点击VMware左上角编辑

4.点开虚拟网络模拟器

5.点开右下角“更改设置”

6.点左下角还原默认设置

7.看网络链接界面，等待重新分配IP，主要看VMware Network Adapter VMnet8的消失和出现

8.选中VMent8

9.在下方取消勾选DHCP，并选中“NAT模式”

10.重新分配的IP就是网关

11.切到网络连接，选中VMware Network Adapter VMnet8右键，选属性，然后选中IPV4

12.点开后选“使用下面的IP地址”上下（对应“NAT设置”）对应填好，每个人应该都是不一样的

13.点确定，应该就能ping通啦，去CentOS里在试一试？如果还是不行，其他博主的方法也可以考虑一下咧

（3）现在你一切正常，别急，打开你的hosts文件C盘->Windows->System32->drivers->etc->hosts

右键用你的Notepad++打开就好

没有？我这有

链接: https://pan.baidu.com/s/1pQkz-bCzJFLfPH2RJfF8yQ?pwd=xh55 提取码: xh55

如果链接失效，找老师同学借（抢）一个QWQ

将对应的IP写上，格式如上，然后保存

（4）点击VMware左上角编辑

     点开虚拟网络模拟器

     点开右下角“更改设置”

     选择VMent8

     在下方取消勾选DHCP

   ![](https://img-blog.csdnimg.cn/1dddcfec618d4502a8365c127718f2cb.png)

    DHCP的作用是随机分配IP地址，也就是说可能IP地址会变，所以要关

点击“ROOT密码”

设置密码，建议别搞太难，简单密码输好后点两下完成就好

等一会，点击完成配置，重启

VMware先放着，但不要关，进去后试着输一下用户名和密码，如果显示类似这种

这里笔者一号机崩坏了QAQ，开启二号机

6.Xshell与Xftp

在Xshell运行前，我们先关一些CentOS的DNS

不然可能你的虚拟机在连接服务的时候会很慢

修改文件位置：

​
vi /etc/ssh/sshd_config

​

将“**#UseDNS yes”改为“UseDNS no” ，重启虚拟机**

OK后，就开始下Xshell和Xftp

进入官网

XSHELL - NetSarang Website

选择家庭/学校免费

填写后打开你的QQ邮箱，就会有下载链接发给你

下好后的样子

打开Xshell7

右键左侧，选新建

选择会话

将信息填入

在名称和主机填入虚拟机名字，笔者是eva2

然后弹出这个安全警告说明链接成功啦

填入你的host名

好的，next

选记住密码啊

然后会弹出这个

这个时候就在左侧右键，选择属性

像下图一样选择隧道

将X11转移关闭，点确定

由于在VMware里面设置了静态网卡（青字中红字步骤），可以去设置一下，这样子就不用在Xshell中弄了

7.Xshell中设置主机名和关闭防火墙

设置虚拟机用户名

上编辑hosts文件，输入

vi /etc/hosts

然后用notepad++打开hosts文件复制一下

写在相应位置

在虚拟机上关闭防火墙

systemctl status firewalld.service

查看防火墙状态。执行后如果看到绿色字样标注的“active（running）”，说明防火墙是开启状态。看到disavtive（dead）的字样，说明防火墙已经关闭。

临时关闭运行的防火墙

systemctl stop firewalld.service

禁止防火墙服务器，可以将防火墙永久关闭

systemctl disable firewalld.service

重启CentOS系统，使设置生效

reboot

看看效果

reboot后，要稍等VMware里重连后才能重新连接

8.配置SSH免密登录

在hadp01上执行

ssh-keygen -t rsa

生成公私钥

按三次回车键，执行完毕后，将在用户主目录下生成.ssh文件夹，其中包括公私钥文件。

执行命令

ssh-copy-id -i ~/.ssh/id_rsa.pub hadp01

把公钥发送到服务器端 执行过程中提示时，输入yes

执行过程中根据提示输入root用户密码（密码输入时没有显示）

ok啦，下一步吧

9.传输jdk和hadoop的安装文件

链接: https://pan.baidu.com/s/1hl594UxKGKfjPeoHt6mdWg?pwd=22bf 提取码: 22bf

链接失效，就去找你同学要一份，因为：

1.下载速度慢

2.官网现在界面和以前不一样（反正我这个大呆瓜没找到）

新版打咩，最好要老一点的版本。

笔者用的是

传输之前，先在Xshell里给传输点创建目录

指令

mkdir -p /home/root/apps

创建好应该没有显示

然后我们切换到home下的root文件

cd /home/root

点击Xshell上方的图标

会自动显示并连接，左边如图，右边应该是桌面

选中文件

点击上方“向右传输”

完成啦

完成后，就可以关闭Xftp

我们在Xshell里输入指令查看

ll

一定看好了文件名哈

待会别写错了

笔者后面就按照我这里的文件开始写了

先解压jdk

tar -xzvf jdk-8u201-linux-x64..gz -C apps

然后弹出一大堆东西就说明成功了

解压Hadoop

tar -xzvf hadoop-2.9.2.tar.gz -C apps

同上

完成

删除一下文档信息，减少占用的空间

命令

cd /home/root/apps/hadoop-2.9.2/share

删除命令

rm -rf doc

完成

10.对于JDK文件的编辑

开始编辑profile文件（别作死自己输，一旦错误，就只能重来）

vi /etc/profile

到最下面

在这里加上几行命令

export JAVA_HOME=/home/root/apps/jdk1.8.0_201
export HADOOP_HOME=/home/root/apps/hadoop-2.9.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

一定要在这里cv！！！

输入命令让/etc/profile文件修改后立即生效

source /etc/profile

测试一下，输入一下命令

java -version

显示上图就OK了

11.Hadoop多个文件的配置

首先进入到Hadoop文件的文件夹，输入

cd ..

再输入

cd etc/hadoop/

查看一下

再换到以下命令看一下

ls

1.编辑core-site.xml文件

输入

vi core-site.xml

在里面找到最后的这一栏

添加 注意，中间的eva2一定要改成你的主机名

​
<property>
    <name>fs.defaultFS</name>
<value>hdfs://eva2:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
<value>/home/root/apps/hadoop-2.9.2/tmp</value>
</property>

​

改动原理：

fs.defaultFS：1)指定hadoop的文件系统为hdfs，默认值为file:///，表示本地文件系统，2）指定hdfs的namenode节点为哪台机器

hadoop.tmp.dir：默认值为/tmp/hadoop-${user.name}，当CentOS系统重启后，由于/tmp目录内容会被清除，可能导致Hadoop无法正常启动，建议在第一次安装时修改默认值。当Hadoop系统运行后再修改，需要重新格式化namenode才有效。

2.编辑hdfs-site.xml文件

vi hdfs-site.xml

想上面一样加入以下内容： 中间的eva2一定要改成你的主机名

<property>
    <name>dfs.replication</name>
<value>1</value>
</property>
<property>
    <name>dfs.name.dir</name>
<value>/root/hdfs/name</value>
</property>
<property>
    <name>dfs.data.dir</name>
<value>/root/hdfs/data</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
<value>eva2:50090</value>
</property>
<property>
    <name>dfs.namenode.secondary.https-address</name>
<value>eva2:50091</value>
</property>

dfs.replication：指定文件副本数量，默认值为3，伪分布式方式改为1

dfs.name.dir：指定namenode软件存储元数据的本地目录

dfs.data.dir：指定datanode软件存放文件块的本地目录

dfs.namenode.secondary.http-address：指定SecondaryNamenode的地址，在伪分布式环境下与Namenode在同一台机器

3.编辑mapred-site.xml文件

根据模板创建mapred-site.xml文件

cp mapred-site.xml.template mapred-site.xml

开始编辑

vi mapred-site.xml

老地方加入

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

保存退出

mapreduce.framework.name：指定资源管理器，默认值是local，应该修改为yarn

4.编辑yarn-site.xml文件

vi yarn-site.xml

老地方：中间的eva2一定要改成你的主机名

<property>
    <name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
<value>eva2</value>
</property>

全做完后都可以打开再检查一下

5.编辑hadoop-env.sh文件

vi hadoop-env.sh

将默认的

export JAVA_HOME=${JAVA_HOME}

替换为

export JAVA_HOME=/home/root/apps/jdk1.8.0_201

6.编辑yarn-env.sh文件

vi yarn-env.sh

将默认的

# export JAVA_HOME=/home/y/libexec/jdk1.6.0/

替换为

export JAVA_HOME=/home/root/apps/jdk1.8.0_201

记得删除这一行最前面的#

完成后

7.格式化namenode节点

输入

hdfs namenode -format

出现如下，即可认为成功

has been successfully formatted.

上图已经勾出来了

12.启动Hadoop集群

输入两次

cd ..

再输入

cd sbin

输入文件查看命令

ll

再输入以下命令进行简略查看

ls

输入

./start-all.sh

输入yes

配置完成，看看效果，输入

jps

包括jps在内应该有六个进程

13.运行Hadoop示例程序

切换到样例在的目录

cd /home/root/apps/hadoop-2.9.2/share/hadoop/mapreduce

选择一个计算圆周率值的程序运行，命令如下

hadoop jar hadoop-mapreduce-examples-2.9.2.jar pi 10 1000

等待程序运行

运行结束啦

这样就说明我们hadoop环境应该没有问题了

14.停止Hadoop

输入

cd ..

再输入

cd ..\

下一行按Ctrl+c，如下图

再按下图输入

cd ..
cd .. 
cd sbin

输入

./stop-all.sh

等待一会后，输入jps

如果只有一个jps，就说明停止了

1.CentOS 关机，输入命令：

init 0

2.关闭Xshell

3.关闭VMware workstation

NOW，ALL DOWN

如果你觉得写的还不错的话，不妨留下你的关注，赞，评论

标签： hadoop centos 大数据
本文转载自: https://blog.csdn.net/qq_64297998/article/details/126861833
版权归原作者 白兰地兑豆瓣酱 所有， 如有侵权，请联系我们删除。
登录后发布评论

“Hadoop,VMware,Xshell,Xftp,CentOS,安装和部分问题详解（真的很详细）”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

机器人技术在安全领域的重要作用

安全学习记录——网络篇（一）

图腾柱PFC：HP1010为您的电动两轮车之旅提供绿色，高效，安全的动力

单元测试数据库回滚问题

这才是单元测试，之前我们都错了

【C语言基础】：字符函数和字符串函数

ChatGPT-Next-Web SSRF漏洞+XSS漏洞复现(CVE-2023-49785)

文章导航