Hadoop集群安装和搭建（从零开始超级超级详细的过程）（上）

前言

本文直接从最最最开始安装Hadoop开始讲解，省略了虚拟机安装的这部分，这里我就默认学过Liunx的各位小伙伴们已经有相关环境了。
下半部分在这里~

Hadoop集群安装和搭建（从零开始超级超级详细的过程）（下）

一、Hadoop项目结构

组件功能HDFS分布式文件系统MapReduce分布式并行编程模型YARN运行在YARN之上的下一代Hadoop查询处理框架HiveHadoop上的数据仓库HBaseHadoop上的非关系型的分布式数据库Pig一个基于Hadoop的大规模数据分析平台，提供类似SQL的查询语言Pig LatinSqoop用于在Hadoop与传统数据库之间进行数据传递OozieHadoop上的工作流管理系统Zookeeper提供分布式协调一致性服务Storm流计算框架Flume一个高可用，高可靠的，分布式的海量日志采集、聚合和传统的系统AmbariHadoop快速部署工具，支持Apache Hadoop集群的供应、管理和监控Kafka一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作流数据Spark类似于Hadoop MapReduce的通用并行框架

二、Hadoop安装方式

这里我们用分布式模式安装

单机模式：Hadoop默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。访问的是本地磁盘，而不是HDFS。
伪分布式模式：Hadoop可以在单节点上以伪分布式的方式运行，节点既作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。
分布式模式：使用多个节点构成集群环境来运行Hadoop。

三、VMware虚拟网络设置+Windows10的IP地址配置+CentOS7静态IP设置

(1)VMware虚拟网络设置

下面我更改了两部分地址
1）子网IP：192.168.88.0（自己原来的地址）改为192.168.10.0
2）NAT设置网关IP：192.168.88.2改为192.168.10.2

在这里插入图片描述

(2) Window10的IP地址配置

在这里插入图片描述

找到VMnet8
将IP地址改为静态地址

在这里插入图片描述

这里取消勾选自动获得IP地址改为静态IP
默认网关：192.168.10.2
DNS服务器改为：192.168.10.2
备用DNS服务器改为：8.8.8.8（国外DNS）或者114.114.114.114（国内DNS）
注意：有时候8.8.8.8不行就换成114.114.114.114

在这里插入图片描述

(3)CentOS（hadoop 100）静态IP设置

在cenntos7输入startx命令进入图形界面(安不安装图形界面都可以，为了便于后续使用我还是安装上了)

startx

在这里插入图片描述

进入配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述

进入后将DHCP协议改为静态的，并添加网关

在这里插入图片描述

添加刚刚配置的DNS地址解析、Hadoop100的ip地址、子网掩码
注意！！！！
这里的IP地址一定要写对，我这里写错了！！！
写错IP导致后面连接XSHell的时候浪费了好多时间找错
这里的IP应该是192.168.10.100

IPADDR=192.168.10.100

在这里插入图片描述

正确的IP

在这里插入图片描述

配置名称（别忘了配Hadoop的名字，我这里之前忘记配了，后面才想起来配，要不然后面分不清谁是谁了）

vim /etc/hostname

在这里插入图片描述

(5)设置名字解析

为了方便后续更改IP地址，这里配置Linux克隆机主机名称映射hosts文件

配置映射host文件
hosts文件是Linux系统中负责IP地址与域名快速解析的文件，需要配置其他的几个节点“主机名”和“IP地址”可达到快速访问集群中其他节点的效果。

vim /etc/hosts

在这里插入图片描述

重启虚拟机，使配置生效

在这里插入图片描述

重启后验证：

在这里插入图片描述

四、XSHELL7远程访问工具+XFTP7文件传输

(1)分别下好XSHELL7和XFTP7

因为这里我使用的是老师给的旧版本工具（和书上一样的版本，后续课程中方便使用）
如果要下载最新版本可以去官网下载

在这里插入图片描述然后分别安装：

1）先安装Xshell

这个步骤很简单，一路默认就行
在这里插入图片描述

在这里插入图片描述

2）打不开Xshell7的解决方法

如果和我一样安装的老旧版本，那就看看下面我的解决方法吧。

安装成功后一直提示“您已经在系统上安装了最新版本的Xshell 7”

在这里插入图片描述

解决方法：

右击我的电脑/计算机–管理

在这里插入图片描述

找到【flexnet licensing service】服务然后停止，右击属性，把启动类型改成禁止就可以了。

在这里插入图片描述

如果上面的方法还是没能解决你的问题！！！
再看看下面这个方法吧，一定可以解决！！（我试了上一个方法没成功，但是网上好多人成功了，建议小试一下）

1、试试把系统时间改成2017年（因为版本老旧，把时间改旧一点就行了，2017年以前的时间就可以，这个方法好用！！！）

在这里插入图片描述

打开了

在这里插入图片描述

2、bat文件自动修改时间并在10秒后将日期恢复。(这个方法也行，要是觉得时间短可以把时间改久一点)

因为手动反复修改电脑日期麻烦。所以可以通过bat 文件进行修改。

新建bat文件：新建txt文件，右键重命名将“新建文本文档.txt ”改成"xshell.bat"即可。

编辑xshell.bat文件，然后复制下面的代码。

##################################begin####################
@echo off
%1 mshta vbscript:CreateObject("Shell.Application").ShellExecute("cmd.exe","/c%~s0::","","runas",1)(window.close)
title Xshell启动器
set atime=%date:~0,4%-%date:~5,2%-%date:~8,2%

#设置系统时间
date 2017-7-27

#改成你的xshell启动路径start"""D:\Xshell.exe"echo 启动软件中...
ping 0.0.0.0 -n 10> null
echo 同步时间中，完成后自动关闭窗口...

date %atime%
exit

我不嫌麻烦我用的每次打开XShell手动改时间的方法，第二种方法我还没有试过，嫌麻烦或感兴趣的小伙伴可以试一试