hadoop的运行模式

作者简介：大家好我是小唐同学(๑>؂<๑），好久不见，为梦想而努力的小唐又回来了，让我们一起加油！！！

个人主页：小唐同学(๑>؂<๑）的博客主页

目前再学习大数据，现在在初级阶段-刚学Hadoop，若有错误，请指正

hadoop的三种运行模式区别：

完全分布式运行模式步骤：

1.准备三台客户机（关闭防火墙，静态IP，主机名）

2.安装jdk

3.配置环境变量

4.安装Hadoop

5.配置环境变量

6.配置集群

7.单点启动

8.配置ssh

9.群起并测试集群

一，虚拟机准备：

详见上章

二，编写集群分发脚本xsync

（1）scp定义：

scp可以实现服务器与服务器之间的数据拷贝

（2）基础语法：

scp -r $pdir/$fname $user@$host:$pdir/$fname

命令 递归 要拷贝的文件路径/名称 目的地用户@主机：目的地路径/名称

实例演示（Hadoop100，Hadoop102，Hadoop103，Hadoop104已 经准备完全）

将jdk从Hadoop102上 拷贝到Hadoop103，Hadoop104上

将Hadoop从Hadoop102上拷贝到Hadoop103，Hadoop104上

拷贝有两种方法：

（1）把本服务器文件拷贝入其他服务器

（2）把其他服务器文件拷贝入本服务器

(1)按照上述语法进行拷贝jdk

（这是上述的第一种拷贝）

首次拷贝需要验证

需要通过Xshell登录到Hadoop103 所以需要输入密码

拷贝jar包

进入Hadoop103 可以进入指定目录查看

（2）按照上述语法拷贝Hadoop（第二种方法）

在Hadoop103中操作，从Hadoop102中拷贝Hadoop

scp -r tangxiaocong@hadoop102:/opt/module/hadoop-3.1.3 ./

这种操作可以让本机路径简化

以上两种操作，就使Hadoop，jdk从Hadoop102拷贝入Hadoop103

（3）拷贝也可以让Hadoop103操作 从Hadoop102中拷贝入Hadoop104

（听上去很无赖，很像小美）

scp -r tangxiaocong@hadoop102:/opt/module/* tangxiaocong@hadoop104:/opt/module/e/* tangxiaocon

在这里需要输入两次密码

三，rsync远程同步工具

rsync主要用于备份和镜像，具有速度快，避免复制相同内容和支持符号链接的优点

rsync和scp的区别：

    用rsync做文件的复制要比scp的速度快，rsync只对差异文件进行操作

    scp是把所有文件都进行复制

rsync语法：

rsync -av $pdir/$fname $user@$host:$pdir/$fname

命令 递归 要拷贝的文件路径/名称 目的地用户@主机：目的地路径/名称

xsync集群分发脚本

需求：

    循环复制文件到所有节点的相同目录下

需求分析：

    (a)rsync命令原始拷贝

rsync -av /opt/module tangxiaocong@hadoop103:/opt/

    （b）期望脚本

xsync要同步的文件名称

    （c）期望脚本在任何路径下都能使用（脚本在全局环境变量的路径）

ssh免密登录：

    ssh：是一种网络协议，用于计算机之间的加密登录

免密登录原理：

ssh免密登录实操：

现在是Hadoop102ssh远程登录Hadoop103

现在是有密登录

可以显示，已经在Hadoop102上有密登录

先来到自己家目录下

ls -al是查看所有隐藏文件

执行过ssh命令，所以会在家目录中有ssh的隐藏文件

设置ssh

免密登录

执行命令

** ssh-keygen -t rsa**

rsa 是密钥对的一种算法（免密登录是通过密钥队进行联系---私钥和公钥）

没有执行命令之前

执行命令时

执行命令后会生成密钥队

设置免密登录的服务器，需要将公钥进行拷贝（私钥不用拷贝）

ssh-copy-id命令可以把本地的ssh公钥文件安装到远程主机对应的账户下

实现免密登录

Hadoop在Xshell下访问自己也是要输入密码的：

所以还需要在给自己copy一份

可知copy后再ssh就不需要输入密码实现免密登录

当然这是普通用户的登录，如果切换到root用户下需要重新配置