hadoop单机模式搭建

1.新建虚拟机

给虚拟机命名，选择存放路径

接着指定磁盘大小，因为我们不止搭建单机模式还要搭建伪分布模式，这里我们选择80G

这里会看到创建虚拟机完成，我们点击自定义硬件，选择合适的内存，处理器，还有映像文件，这里我们用不到声卡和打印机可以给他移除

根据自己电脑配置选择合适的，这里我们选择完之后是这样的

然后我们开启虚拟机

选择第一个centos7，鼠标点进去按↑，回车

语言选择中文，根据自己

配置下时间，点击左上角完成

点击配置分区，关闭kdump

设置下root用户的密码等待安装

安装完之后点击重启，然后

网络文件编辑

/etc/sysconfig/network-scripts/ifcfg-ens33

配置下网络ip

虚拟机的网络ip是在左上角的编辑下虚拟机网络编辑器

编辑完之后我们重启一下网络服务并测试一下ping百度

2.连接访问工具

我用的是mobaxterm

输入root用户密码就可以进来了

修改主机名

配置ip映射vi /etc/hosts

查看防火箱状态并且关闭

永久关闭selinux

重启创建存放软件包和软件的目录

上传jdk和hadoop压缩包

解压到module目录

tar -zxvf /opt/software/hadoop-3.3.1.tar.gz -C /opt/module/

tar -zxvf /opt/software/jdk-8u162-linux-x64.tar.gz -C /opt/module/

解压完之后查看下

配置环境变量

vi /etc/profile

重新加载环境变量

source /etc/profile

测试

3.通过wordcount案例计算单词个数

切换到hadoop目录下并创建目录input/word.txt

编辑word.txt

用Hadoop自带的计算框架计算单词个数

计算后查看

计算圆周率

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar pi 10 10