【Flink精讲】Flink性能调优：内存调优

内存调优

内存模型

JVM 特定内存

JVM 本身使用的内存，包含 JVM 的 metaspace 和 over-head
1） JVM metaspace： JVM 元空间
taskmanager.memory.jvm-metaspace.size，默认 256mb
2） JVM over-head 执行开销： JVM 执行时自身所需要的内容，包括线程堆栈、 IO、编译
缓存等所使用的内存。

• taskmanager.memory.jvm-overhead.fraction，默认 0.1
• taskmanager.memory.jvm-overhead.min，默认 192mb
• taskmanager.memory.jvm-overhead.max，默认 1gb

总进程内存*fraction，如果小于配置的 min（或大于配置的 max） 大小，则使用 min/max
大小

框架内存

Flink 框架，即 TaskManager 本身所占用的内存， 不计入 Slot 的资源中。
堆内： taskmanager.memory.framework.heap.size， 默认 128MB
堆外： taskmanager.memory.framework.off-heap.size，默认 128MB

Task 内存

Task 执行用户代码时所使用的内存
堆内： taskmanager.memory.task.heap.size，默认 none，由 Flink 内存扣除掉其他部分
的内存得到。
堆外： taskmanager.memory.task.off-heap.size，默认 0，表示不使用堆外内存

网络内存

网络数据交换所使用的堆外内存大小，如网络数据交换缓冲区
堆外： taskmanager.memory.network.fraction，默认 0.1
taskmanager.memory.network.min，默认 64mb
taskmanager.memory.network.max，默认 1gb
Flink 内存*fraction，如果小于配置的 min（或大于配置的 max） 大小，则使用 min/max
大小

托管内存

用于 RocksDB State Backend 的本地内存和批的排序、哈希表、缓存中间结果。
堆外： taskmanager.memory.managed.fraction，默认 0.4
taskmanager.memory.managed.size，默认 none
如果 size 没指定，则等于 Flink 内存*fraction

内存划分

• 进程内存：蓝框
• flink内存：红框
• 两者差别：JVM内存
• 网络内存：(进程内存 - JVM内存) * 0.1(taskmanager.memory.network.fraction，默认0.1)
• 托管内存：用于RocksDB State Backend的本地内存和批的排序、哈希表、缓存中间结果

举个例子

TaskManager日志中可以查看JVM参数指定的内存大小

Managed Memory管理内存：KV类型的状态来用的，给RocksDB用的，而如果状态后端不是RocksDB的，则可以把这块内存调小。

以上是TaskManger内存，JobManager内存一般不用管（不处理数据也不保存数据），使用默认参数即可，不够再加。