Flink HA模式环境搭建

Flink HA模式环境搭建

前提：hadoop ha和zookeeper已经安装完毕

一、下载Flink安装包

• Flink官网下载

二、下载Flink依赖的Hadoop包

• Flink依赖的Hadoop包：点击下载

三、环境规划

• 五台虚拟机： > hadoop002 主节点> hadoop003 主节点（备）> hadoop004 从节点> hadoop005 从节点> hadoop006 从节点

四、安装配置（在hadoop002上进行所有配置）

1. 上传Flink安装包到Hadoop002上
2. 解压安装到指定目录下，执行：tar -zvxf /tools/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar -C /training/
3. 配置环境变量（可选，建议配置，并同步到其他节点），vi ~/.bash_profile，添加如下内容：#flinkexport FLINK_HOME=/training/flink-1.10.1export PATH=$PATH:$FLINK_HOME/bin# 配置Hadoop配置文件所在目录，防止找不到Hadoop配置export HADOOP_CONF_DIR=/training/hadoop-2.7.3/etc/hadoop/
4. 使环境变量生效，执行：source ~/.bash_profile
5. 进入flink安装目录下，编辑/training/flink-1.10.1/conf/flink-conf.yaml文件,修改如下内容：#common 部分只需要修改如下选项，其中hadoop002为主节点jobmanager.rpc.address: hadoop002taskmanager.numberOfTaskSlots: 3 # 改成3，可不改parallelism.default: 3 #改成3，可不改# High Availabilityhigh-availability: zookeeper# ns1为hadoop HA的名称high-availability.storageDir: hdfs://ns1/ha/high-availability.zookeeper.quorum: hadoop002:2181,hadoop003:2181,hadoop004:2181# 其他暂时默认即可
6. 进入flink安装目录下，编辑/training/flink-1.10.1/conf/masters文件,修改如下内容:hadoop002:8081hadoop003:8081
7. 进入flink安装目录下，编辑/training/flink-1.10.1/conf/slaves文件,修改如下内容:hadoop004hadoop005hadoop006
8. 进入flink安装目录下，编辑/training/flink-1.10.1/conf/zoo.cfg文件,需要修改如下内容:# ZooKeeper quorum peersserver.1=hadoop002:2888:3888server.2=hadoop003:2888:3888server.3=hadoop004:2888:3888
9. 将下载好的依赖flink-shaded-hadoop-2-uber-2.7.5-10.0.jar上传到flink安装目录下的lib目录中
10. 然后将整个flink安装目录拷贝到其他节点中，可以执行如下命令：scp -r /training/flink-1.10.1 root@hadoop003:/training scp -r /training/flink-1.10.1 root@hadoop004:/training scp -r /training/flink-1.10.1 root@hadoop005:/training scp -r /training/flink-1.10.1 root@hadoop006:/training
11. 启动集群（在hadoop002上），执行：start-cluster.sh
12. 成功后检查下进程： 主节点：StandaloneSessionClusterEntrypoint 从节点：TaskManagerRunner
13. 打开网页查看，访问端口为8081,两个主节点都会看到如下信息：