0


CDH集群集成外部Flink(改进版-与时俱进)

前言


参考文章中,给出的cdh编译后的flink,已经下架,所以我们得想办法,编译。

参考别人的文章不可怕,怕的是,不思进取,我们可以参考别人的文章,并且对不足之处,进行改进,将优秀的地方,进行学习,这样我们国家和民族的技术文章和社区,才能不断进步。

可能有一天我不干程序员了,但是技术更新了,那时,我也希望,我的文章能被别人拿走,进行改进,造福开源社区。

于是,此文章是基于参考文章为基础,进行的改进版

注意flink版本千万不要选超过1.2的

否则将会多一个很麻烦的shared包编译,会出现很多问题

需要


cdh集群(前提)---我已经搭建好了

flink的-parcel包制作

Flink Parcel包


1)下载制作包

git clone https://github.com/pkeropen/flink-parcel.git

打开git bash,克隆成功后,会在当前文件里生成一个文件夹

千万不要在windows中clone,否则会更改系统格式为windows(以下为错误示范)

将文件夹上传到centos系统,因为要用sh,(你直接从centos系统上git clone也可以)

2)修改配置文件

进入刚下载的制作包内,修改flink-parcel.properties文件

配置如下

flink下载缓慢,所以我提前下载下来放入了本地的httpd服务器中

我在apache官网下载的,下载缓慢

https://dlcdn.apache.org/flink/flink-1.12.7/flink-1.12.7-bin-scala_2.12.tgz

于是改成了国内化腾镜像,速度飞起

https://mirrors.cloud.tencent.com/apache/flink/flink-1.12.7/flink-1.12.7-bin-scala_2.12.tgz

将下载的文件放到自己的本地httpd目录,/var/www/html/下

#flink 下载地址
FLINK_URL=http://192.168.30.101:httpd端口/flink文件路径

#flink版本号
FLINK_VERSION=1.12.7

#扩展版本号
EXTENS_VERSION=BIN-SCALA_2.12

#操作系统版本,以centos为例
OS_VERSION=7

#CDH 小版本,我是6.3.2的集群,所以我把最大值设置为6.3.3
CDH_MIN_FULL=5.2
CDH_MAX_FULL=6.3.3

#CDH大版本
CDH_MIN=5
CDH_MAX=6

将build.sh和flink-parcel.properties 文档格式 转换为UNIX格式

(1)将文件夹上传到服务的

(2)linux上安装git

sudo yum install -y git

(3)linux安装maven

maven下载,虽然只有8MB,但是官网下载缓慢

我还是下载了下来

** 解压**

tar -zxvf apache-maven-3.8.6-bin.tar.gz

这是我解压的目录/software/apache-maven-3.8.6

环境变量配置(加上这2句)

vi /etc/profile

export MAVEN_HOME=/software/apache-maven-3.8.6
export PATH=$PATH:$MAVEN_HOME/bin

更新

source /etc/profile

测试

mvn- v

因为大神写的Parcel的build.sh脚本需要依赖maven和git以及sh还有java

3)build.sh使用

parcel包

使用当前目录的build.sh脚本执行

./build.sh  parcel

成功后会在当前目录生成

** 构建flink-yarn csd包**

./build.sh csd_on_yarn

成功会生成

4)打包

tar -cvf ./FLINK-1.12.7-BIN-SCALA_2.12.tar ./FLINK-1.12.7-BIN-SCALA_2.12_build/

生成

在上1级目录,生成目标包

把这2个包,copy过去

(1)将FLINK-1.12.7-BIN-SCALA_2.11_build里的文件放到/opt/cloudera/parcel-repo
(2) cp FLINK_ON_YARN-1.12.7.jar /opt/cloudera/csd/

** 先点分配**,重启server,

重启server

systemctl restart cloudera-scm-server

然后 在点激活,本来我是截图自己的,csdn给我删掉了,ctrl+z真的吐血,你们的设计,直接给我回退到上次自动保存点,而不是删除我刚刚输入的数据。

配置去掉安全选项

启动flink报错

"未找到与筛选器 'entityName = "flink_on_yarn-FLI xxx 匹配的实体"

之类的话

在cdh中关闭,其他服务,否则按照时候内存不够

mvn clean install -DskipTests -Pvendor-repos -Dhadoop.version=3.0.0-cdh6.3.2 -Dscala-2.12 -Drat.skip=true -T10C

参考文章:

CDH集成Flink_大数据左右手的博客-CSDN博客_cdh集成flink

自制Flink Parcel集成CDH(Flink1.12.0 + CDH6.3.2)_东东的学习笔记666的博客-CSDN博客

GitHub - pkeropen/flink-parcel: flink 集成CDH5的自定义paracels

标签: flink 大数据 hadoop

本文转载自: https://blog.csdn.net/qq_38403590/article/details/125989871
版权归原作者 我要用代码向我喜欢的女孩表白 所有, 如有侵权,请联系我们删除。

“CDH集群集成外部Flink(改进版-与时俱进)”的评论:

还没有评论