flink on yarn常见问题及解决方法汇总

Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster

这个报错很明显，告诉你yarn集群的资源不足了，需要手动加大资源

加大后重启YARN cluster

TimeoutException: Timeout has occurred

yarn资源不足的问题

①调整yarn

yarn-site.xml

<property><name>yarn.nodemanager.resource.memory-mb</name><value>26624</value></property>

②调整分配给job的内存
可以通过启动命令的参数调整

org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException:

没有可用的资源了
flink的安装目录下：/conf/flink-conf.yaml 添加如下配置：

taskmanager.network.memory.fraction: 0.1
taskmanager.network.memory.min: 268435456
taskmanager.network.memory.max: 4294967296

akka.remote.ReliableDeliverySupervisor

这种错误一般是 hadoop 集群资源（内存、磁盘、虚拟内存等等）不足造成的。
并且多数情况是由于分配的虚拟内存超出限制，可以关掉hadoop的检查虚拟内存，如下

<property>    
    <name>yarn.nodemanager.vmem-check-enabled</name>    
    <value>false</value>    
</property>

Slot request bulk is not fulfillable! Could not allocate the required slot within slot request timeout

无法在插槽请求超时内分配所需的插槽
解决：减少并发度或减少内存

Cannot discover a connector using option: ‘connector’=‘kafka’

原因是flink lib文件中缺少连接kafka的依赖
解决：在lib 文件中加 flink-connector-kafka_2.12-1.14.4.jar 替换相应的版本即可

.ClassNotFoundException: org.apache.kafka.clients.consumer.OffsetResetStrategy

原因是缺少kafka client
解决：在lib 文件中加 kafka-clients-2.4.1.jar 替换替换相应的版本即可

以后遇到问题再持续更新。