Flink(arm) on K8S 部署时的那些坑

1 背景

目标：在arm架构的K8S上部署一套flink集群。

我对k8s还算了解，但在此之前没接触过flink，部署起来确实有点困难。本文记录在此过程中遇到的问题，以及问题原因和解决方案。

2 准备工作

flink的arm镜像

flink的arm镜像：

需包含arm版jdk1.8
flink版本为1.17.2

该镜像的构建方法可参考我的文章：arm环境下构建Flink的Docker镜像。

k8s环境

已有k8s集群环境。

我所在的环境是1.18，部署在arm架构的服务器上。

3 部署

我参考了官方的经验（见 https://nightlies.apache.org/flink/flink-docs-master/zh/docs/deployment/resource-providers/standalone/kubernetes/ ），建议大家酌情参考。

也许你也会踩一遍我经历过的坑。

3.1 ConfigMap

flink-configuration-configmap.yaml

这个是flink的配置文件，对应着安装包中 ${FLINK_HOME}/conf/flink-conf.yaml。

基本不用动，可以直接拷贝过来使用（在生产环境中需要根据实际情况修改配置参数）。

apiVersion: v1
kind: ConfigMap
metadata:
  name: flink-config
  namespace: "flink-ns"
  labels:
    app: flink
data:
  flink-conf.yaml: |+
    jobmanager.rpc.address: flink-jobmanager
    taskmanager.numberOfTaskSlots: 2
    blob.server.port: 6124
    jobmanager.rpc.port: 6123
    taskmanager.rpc.port: 6122
    jobmanager.memory.process.size: 1600m
    taskmanager.memory.process.size: 1728m
    parallelism.default: 2
  log4j-console.properties: |+
    rootLogger.level = INFO
    rootLogger.appenderRef.console.ref = ConsoleAppender
    rootLogger.appenderRef.rolling.ref = RollingFileAppender
    logger.flink.name = org.apache.flink
    logger.flink.level = INFO
    logger.pekko.name = org.apache.pekko
    logger.pekko.level = INFO
    logger.kafka.name= org.apache.kafka
    logger.kafka.level = INFO
    logger.hadoop.name = org.apache.hadoop
    logger.hadoop.level = INFO
    logger.zookeeper.name = org.apache.zookeeper
    logger.zookeeper.level = INFO

    # 将所有 info 级别的日志输出到 console
    appender.console.name = ConsoleAppender
    appender.console.type = CONSOLE
    appender.console.layout.type = PatternLayout
    appender.console.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

    # 将所有 info 级别的日志输出到指定的 rolling file
    appender.rolling.name = RollingFileAppender
    appender.rolling.type = RollingFile
    appender.rolling.append = false
    appender.rolling.fileName = ${sys:log.file}
    appender.rolling.filePattern = ${sys:log.file}.%i
    appender.rolling.layout.type = PatternLayout
    appender.rolling.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
    appender.rolling.policies.type = Policies
    appender.rolling.policies.size.type = SizeBasedTriggeringPolicy
    appender.rolling.policies.size.size=100MB
    appender.rolling.strategy.type = DefaultRolloverStrategy
    appender.rolling.strategy.max = 10

    # 关闭 Netty channel handler 中不相关的（错误）警告
    logger.netty.name = org.jboss.netty.channel.DefaultChannelPipeline
    logger.netty.level = OFF

配置文件中，部署集群时需要重点关注的参数：

jobmanager.rpc.address: flink-jobmanager

该参数定义了 taskmanager 与 jobmanager 通信的rpc地址，这里使用了服务名称

flink-jobmanager，该服务需要另行定义。

3.2 Service

为清晰管理服务，我将rpc服务和rest服务拆开了。

3.2.1 rpc

flink-rpc-service.yaml

官方未提供该文件，这里定义了rpc通信的端口，taskmanager可以在集群中通过服务名flink-jobmanager找到jobmanager。

apiVersion: v1
kind: Service
metadata:
  name: flink-jobmanager
  labels:
    app: flink
    component: jobmanager
spec:
  type: ClusterIP
  clusterIP: None
  selector:
    app: flink
    component: jobmanager
  ports:
  - name: rpc
    port: 6123

这里：

metadata.name 需要与 ConfigMap 中的 jobmanager.rpc.address 参数一致。

spec.ports.port 需要与 ConfigMap 中的 jobmanager.rpc.port 参数一致。

3.2.2 rest

jobmanager-rest-service.yaml

该文件定义了jobmanager控制台暴露的web端口，在官方文档中有提供，直接拷贝过来即可。

apiVersion: v1
kind: Service
metadata:
  name: flink-jobmanager-rest
  namespace: "flink-ns"
spec:
  type: NodePort
  ports:
    - name: rest
      port: 8081
      targetPort: 8081
      nodePort: 30081
  selector:
    app: flink
    component: jobmanager

部署完成后，可以通过 8081 端口访问控制台。

3.3 ServiceAccount

flink-service-account.yaml

该文件官方未提供，但在jobmanager中有引用，需要自行定义：

apiVersion: v1
kind: ServiceAccount
metadata:
  name: flink-service-account
  namespace: "flink-ns"
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: configmap-manager
rules:
  - apiGroups: [ "" ]
    resources: [ "configmaps" ]
    verbs: [ "create", "delete", "get", "list", "patch", "update", "watch" ]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: configmap-manager-binding
  namespace: "flink-ns"
subjects:
  - kind: ServiceAccount
    name: flink-service-account
roleRef:
  kind: Role
  name: configmap-manager
  apiGroup: rbac.authorization.k8s.io

文件定义了拥有创建、编辑、删除 ConfigMap 权限的 Service 账号。

3.4 jobmanager

jobmanager-session-deployment.yaml

这里我选择使用session模式。官方的配置文件经过调教后如下：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: flink-jobmanager
  namespace: "
spec:
  replicas: 1 # 通过设置大于 1 的整型值来开启 Standby JobManager
  selector:
    matchLabels:
      app: flink
      component: jobmanager
  template:
    metadata:
      labels:
        app: flink
        component: jobmanager
    spec:
      containers:
        - name: jobmanager
          image: flink-arm:lastest
#          env:
#            - name: POD_IP
#              valueFrom:
#                fieldRef:
#                  apiVersion: v1
#                  fieldPath: status.podIP
#          # 下面的 args 参数会使用 POD_IP 对应的值覆盖 config map 中 jobmanager.rpc.address 的属性值。
#          args: [ "jobmanager", "$(POD_IP)" ]
          args: [ "jobmanager"]
          ports:
            - containerPort: 6123
              name: rpc
            - containerPort: 6124
              name: blob-server
            - containerPort: 8081
              name: webui
          livenessProbe:
            tcpSocket:
              port: 6123
            initialDelaySeconds: 30
            periodSeconds: 60
          volumeMounts:
            - name: flink-config-volume
              mountPath: /opt/flink/conf
          securityContext:
            runAsUser: 9999  # 参考官方 flink 镜像中的 _flink_ 用户，如有必要可以修改
      serviceAccountName: flink-service-account # 拥有创建、编辑、删除 ConfigMap 权限的 Service 账号
      volumes:
        - name: flink-config-volume
          configMap:
            name: flink-config
            items:
              - key: flink-conf.yaml
                path: flink-conf.yaml
              - key: log4j-console.properties
                path: log4j-console.properties

说明：

原本选择了ha模式的yaml文件，但部署过程中遇到了一些问题。

为保证集群能够运行起来，对文件进行了调整。但这可能破坏了ha特性，有待验证。

3.5 taskmanager

taskmanager-session-deployment.yaml

该文件的内容如下：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: flink-taskmanager
  namespace: "flink-ns"
spec:
  replicas: 3
  selector:
    matchLabels:
      app: flink
      component: taskmanager
  template:
    metadata:
      labels:
        app: flink
        component: taskmanager
    spec:
      initContainers:
        - name: init-flink-conf
          image: flink-arm:latest
          command: [ "sh", "-c", "mkdir -p /opt/flink/conf /config ; cp /config/* /opt/flink/conf ; chmod 777 /opt/flink/conf/*" ]
          volumeMounts:
            - name: flink-config-volume
              mountPath: /config
            - name: local-storage
              mountPath: /opt/flink/conf
      containers:
        - name: taskmanager
          image: flink-arm:latest
          args: [ "taskmanager" ]
          ports:
            - containerPort: 6122
              name: rpc
          livenessProbe:
            tcpSocket:
              port: 6122
            initialDelaySeconds: 30
            periodSeconds: 60
          volumeMounts:
            - name: local-storage
              mountPath: /opt/flink/conf
          env:
            - name: JOB_MANAGER_RPC_ADDRESS
              value: flink-jobmanager
          securityContext:
            runAsUser: 9999  # 参考官方 flink 镜像中的 _flink_ 用户，如有必要可以修改
      volumes:
        - name: flink-config-volume
          configMap:
            name: flink-config
            items:
              - key: flink-conf.yaml
                path: flink-conf.yaml
              - key: log4j-console.properties
                path: log4j-console.properties
        - name: local-storage
          emptyDir: { }

该文件与官方提供的有些许不同：

引入了emptyDir，用于存放配置文件。
这里引入了1个初始化容器（initContainers），用来创建目录、修改权限、并将配置文件复制到emptyDir中的/opt/flink/conf路径下。
设置了环境变量JOB_MANAGER_RPC_ADDRESS，指定了rpc的服务地址是flink-jobmanager。

4 问题及解决方案

起初我按照官方的配置来部署，出现了很多问题。

下面是遇到的典型问题以及解决方案。

4.1 taskmanager启动失败

现象：jobmanager正常启动，但taskmanager启动失败。

taskmanager日志中报错：

WARNING: attempted to load jemalloc from /usr/lib/aarch64-linux-gnu/libjemalloc.so and /usr/lib/x86_64-linux-gnu/libjemalloc.so but the library couldn't be found. glibc will be used instead.
sed: couldn't open temporary file /opt/flink/conf/sedGGEvws: Read-only file system
sed: couldn't open temporary file /opt/flink/conf/sedL9ELTs: Read-only file system
/docker-entrypoint.sh: line 73: /opt/flink/conf/flink-conf.yaml: Permission denied
/docker-entrypoint.sh: line 89: /opt/flink/conf/flink-conf.yaml.tmp: Read-only file system
Starting Task Manager
Starting taskexecutor as a console application on host flink-taskmanager-b6c9fbb8c-hxc4h.
Error: VM option 'UseG1GC' is experimental and must be enabled via -XX:+UnlockExperimentalVMOptions.
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

从日志中可以发现2个问题：

配置文件不可写
VM启动失败

下面分别说一下解决方案。

4.1.1 配置文件不可写

原因

taskmanager采用官方的配置会出现这个问题。官方配置如下图：

taskmanager-session-deployment.yaml中的配置文件挂载

k8s在启动taskmanager容器启动时，会将ConfigMap中的配置信息拷贝到容器中，而这些信息是只读的。

在启动taskmanager时，会修改/opt/flink/conf/flink-config.yaml文件（见docker-entrypoint.sh文件），使用环境变量来更新配置。这里即便你在容器中使用root启动，还是没有写的权限。

解决方案

将ConfigMap中的文件copy出来，挂载到本地目录上；主容器在启动时挂载本地目录即可。当然也可以挂到pv上，但配置都在ConfigMap中维护，没必要外接pv。

我的案例中，将配置文件copy到了emptyDir中，这时taskmanager就可以写配置文件了。

关键配置：

引入了初始化容器，将ConfigMap中的配置文件拷贝到emptyDir中的/opt/flink/conf/路径下。容器挂载的目录不再是ConfigMap，而是emptyDir。

注意：

这个问题正常情况下不会影响taskmanager的启动，只是配置无法更新。taskmanager启动时仍会读取默认的配置（即ConfigMap）。

但会影响rpc通信（后面会有解析）。

4.1.2 VM启动失败

这个问题是导致taskmanager启动失败的真正原因。

日志中提到：

Error: VM option 'UseG1GC' is experimental and must be enabled via -XX:+UnlockExperimentalVMOptions.

这是taskmanager.sh中报的错误：

taskmanager.sh截图

原因

这是因为我用的基础镜像jdk不支持UseG1GC，需要显示启用。

解决方案

2种：

使用支持"UseG1GC"参数的jdk镜像。
在镜像构建时修改taskmanager.sh文件：在Dockerfile中加入下面一行：

# 修改 taskmanager 启动参数
RUN sed -i 's/-XX:+UseG1GC/-XX:+UnlockExperimentalVMOptions -XX:+UseG1GC/g' bin/taskmanager.sh

4.2 taskmanager无法注册到jobmanager

taskmanager需通过flink-jobmanager:6123访问jobmanager，实现rpc通信。当使用官方的 taskmanager-session-deployment.yaml 配置时，可能会出现无法连接到jobmanager的情况。我遇到了2种。

4.2.1 rpc时连接到了本地容器

报错可能类似下方：

Could not connect to rpc endpoint under address akka.tcp://flink@flink-taskmanager-b6c9fbb8c-hxc4h:6123/user/rpc/resourcemanager_*.

flink-taskmanager-b6c9fbb8c-hxc4h 是我本地容器的实例名，怎么连接到了本地？

原因

这是因为在1.17.2版本的docker-entrypoint.sh中，优先使用环境变量 JOB_MANAGER_RPC_ADDRESS 来覆盖 jobmanager.rpc.address 这个配置。docker-entrypoint.sh 关键截图：

JOB_MANAGER_RPC_ADDRESS定义

如图，JOB_MANAGER_RPC_ADDRESS如果没有设置，会默认取本机主机名！

更新配置文件flink-config.yaml

在prepare_configuration() 中用环境变量更新配置文件中的 jobmanager.rpc.address值。

说明：

taskmanager启动时是优先使用环境变量来配置、还是优先使用配置文件，我记不清了...

但是，当你启用了配置文件可写、且没有设置环境变量时，此种情况必然会出现。

解决

完成4.1.1，使配置文件可写。在此基础上修改yaml文件，设置环境变量 JOB_MANAGER_RPC_ADDRESS ，值设置为rpc的service名称：

JOB_MANAGER_RPC_ADDRESS 设置

4.2.2 连接到了jobmanager，但消息被丢弃

这个情况比较极端，大家可能没有碰到过。

我在 tarskmanager的 pod中，执行 ping flink-jobmanager ，可以正常解析 flink-jobmanager 的ip地址、且解析正确，可以ping通。但2个服务的日志中有报错。

jobmanager 报错：

2024-07-29 11:22:33,487 ERROR akka.remote.EndpointWriter [] - dropping message [class akka.actor.ActorSelectionMessage] for non-local recipient [Actor[akka.tcp://flink@flink-jobmanager:6123/]] arriving at [akka.tcp://flink@flink-jobmanager:6123] inbound addresses are [akka.tcp://flink@172.224.135.172:6123]

tarskmanager 日志：

2024-07-29 11:22:23,464 INFO org.apache.flink.runtime.taskexecutor.TaskExecutor [] - Could not resolve ResourceManager address akka.tcp://flink@flink-jobmanager:6123/user/rpc/resourcemanager_*, retrying in 10000 ms: Could not connect to rpc endpoint under address akka.tcp://flink@flink-jobmanager:6123/user/rpc/resourcemanager_*.

从日志分析，tarskmanager 无法解析 ResourceManager、无法连接 flink-jobmanager；而 jobmanager 收到了来自 tarskmanager 的消息（172.224.135.172 为172.224.135.172实例的地址）、但把消息丢弃了。

查看端口状态，6123是连接状态。说明连接已建立，也进行了rpc通信，只不过jobmanager不承认tarskmanager！

原因

在启动时，jobmanager 和 tarskmanager 对于 jobmanager.rpc.address 的配置必须相同！

在我的案例中，我一开始想部署session-ha模式（高估了自己），jobmanager 使用了错误的yaml。里面的干扰项如图：

官方 jobmanager-session-deployment-ha.yaml

ha模式在启动时，使用POD_IP这个环境变量指定了 jobmanager.rpc.address 参数为当前Pod的IP地址，而没有使用配置文件中的配置。这导致了 jobmanager 和 tarskmanager 两边的 jobmanager.rpc.address 配置不同，jobmanager 就将 tarskmanager 消息丢弃。

解决

去掉PodIP这个启动参数即可（详见3.4章节配置）。

5 复盘

历尽艰辛算是部署成功了。测试环境上够用，但上生产还是有段路要走的。这里复盘一下。

5.1 ConfigMap是只读的

以前对这个印象并不是很清晰，经历了这次有了深刻体会。

也让我学到了：ConfigMap也可以作为配置模板，然后通过本文中提到的挂载方式，在程序启动时动态更新配置。

5.2 flink中的环境变量与配置文件

没看过flink的源码，不知道哪个优先级更高。

根据现象来看，环境变量的优先级是高于配置文件的，前提是你的配置文件要可写。

5.3 flink-on-k8s ha模式

一开始如果乖乖的使用非ha模式，应该不会有4.2.2的问题。结果因为这个浪费了大半天时间。

再回来看看ha模式：jobmanager在启动时指定了PodIP，这说明多个 jobmanager 同时存在时，只有1个 jobmanager 接收 taskmanager 的注册信息。那么问题来了：

这时taskmanager如何设置rpc地址为这个Pod的地址？
多个jobmanager是如何同步注册信息的？

有待验证...

标签： flink arm开发 kubernetes

本文转载自: https://blog.csdn.net/evilstar2015/article/details/140971895
版权归原作者 程序员柒叔 所有，如有侵权，请联系我们删除。