Flink 部署笔记:
- Ubuntu 环境下部署 Flink 集群环境
- Docker 部署 Flink 集群环境
- kubernetes(K8S) 部署 Flink 集群环境
下面的1、2两个方法选其一即可。
1 使用docker命令进行构建
- 创建网络
docker network create flink-network
- 配置属性 在命令行界面直接输入。
FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager"
- 启动jobmanager容器
docker run \--rm\--name=jobmanager \--network flink-network \--publish8081:8081 \--envFLINK_PROPERTIES="${FLINK_PROPERTIES}"\flink:1.14.2-scala_2.12 jobmanager
- 启动taskmanager容器 可启动一个或多个。
docker run \--rm\--name=taskmanager \--network flink-network \--envFLINK_PROPERTIES="${FLINK_PROPERTIES}"\flink:1.14.2-scala_2.12 taskmanager
2 使用docker-compose进行构建(推荐)
- 准备工作 创建flink-docker文件夹,用于保存后续工作所需文件。 (可跳过)使用1.1方法启动之后,使用下面命令复制出conf文件,后续可挂载。
dockercp jobmanager:/opt/flink/conf /home/user/flink-docker/flink-conf/jobmanagerdockercp taskmanager:/opt/flink/conf /home/user/flink-docker/flink-conf/taskmanager
修改flink-conf.yaml文件。附录给出了示例。 - 安装docker-compose - 安装pip
aptinstall python3-pip
- 安装docker-composepip install docker-compose
- 验证安装docker-compose-version
- 创建docker-compose.yml 在一个文件夹中,创建docker-compose.yml,写入以下内容。(如果做了第一步,则取消下面的注释。注意volumes中的目录路径。)
version:"2.2"services:jobmanager:image: flink:1.14.2-scala_2.12 ports:-"8081:8081"command: jobmanager # volumes: - /home/user/flink-docker/jobmanager/flink-conf.yaml:/opt/flink/conf/flink-conf.yamlenvironment:-| FLINK_PROPERTIES= jobmanager.rpc.address: jobmanagertaskmanager:image: flink:1.14.2-scala_2.12 depends_on:- jobmanager command: taskmanager scale:3# volumes: - /home/user/flink-docker/taskmanager/flink-conf.yaml:/opt/flink/conf/flink-conf.yamlenvironment:-| FLINK_PROPERTIES= jobmanager.rpc.address: jobmanager taskmanager.numberOfTaskSlots: 3
- 启动
docker-compose up -d
- 终止
docker-compose down
3 提交作业
访问宿主机的8081端口即可访问 web 页面,在 web 页面提交代码即可。
本文转载自: https://blog.csdn.net/White_Ink_/article/details/135360307
版权归原作者 White_Ink_ 所有, 如有侵权,请联系我们删除。
版权归原作者 White_Ink_ 所有, 如有侵权,请联系我们删除。