Hadoop+Flink研发环境部署+开发

单节点Hadoop+Flink，适合单机开发使用。

如果有条件的，可以参考我的另一篇Hadoop集群部署方案。

1.Hadoop安装部署

1**.1 **环境准备

（1）关闭防火墙

（2）ssh免密登录

（3）安装JDK1.8，配置环境变量等

1**.2 配置Hadoop**

1）解压安装文件到指定目录

[user@hadoop software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

2）****将Hadoop添加到环境变量

（1）获取Hadoop安装路径

[user@hadoop hadoop-3.1.3]$ pwd

/opt/module/hadoop-3.1.3

（2）打开/etc/profile.d/my_env.sh文件

[user@hadoop hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

• 在my_env.sh文件末尾添加如下内容：（shift+g）

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

• 保存并退出： :wq

（3）让修改后的文件生效

[user@hadoop hadoop-3.1.3]$ source /etc/profile

**** 3）配置文件说明****

Hadoop配置文件分两类：默认配置文件和自定义配置文件。

（1）默认配置文件：

要获取的默认文件

文件存放在Hadoop的jar包中的位置

[core-default.xml]

hadoop-common-3.1.3.jar/core-default.xml

[hdfs-default.xml]

hadoop-hdfs-3.1.3.j