0


Flink 性能优化总结(内存配置篇)

内存配置优化

Flink 内存模型

在这里插入图片描述

内存模型详解

进程内存(Total Process Memory):Flink 进程内存分为堆上内存和堆外内存,堆上内存和
堆外内存的主要区别在于它们的管理方式不同和使用方式不同,这些会影响到它们的性能和使用场景。
(1)JVM Heap(堆上内存):由 JVM 进行管理和分配的内存空间,可以快速的分配和释放内存,具有更好的内存管理和垃圾回收机制(JVM 垃圾回收机制)。
(2)OFF-Heap Memory(堆外内存):由操作系统进行管理和分配的内存空间,能够存储更大的数据和缓存,提供更好的性能和扩展性,堆外内存的使用的管理是要手动编码实现,相对于堆上内存更加复杂和容易出错。
JVM 内存: JVM 内存包括 JVM Mataspace(JVM 元空间)和 JVM OverHead(JVM 执行开销)
(1)JVM Mataspace(JVM 元空间):用于存放 class 文件中的类和方法等信息。
(2)JVM OverHead(JVM 执行开销):JVM 执行时自身所需要的内容,包括线程堆栈、IO、编译缓存等所使用的内存。
框架内存:框架内存即 TaskManager 本身占用的内存,包括 Framework Heap(框架堆上
内存)和 Framework Off-Heap(框架堆外内存),不计入 slot 资源。
网络内存:NetWork(网络内存)即网络数据交换所使用的堆外内存大小,如网络数据交换缓冲区。
托管内存:Managed Memory(托管内存)用于 Flink 中状态的缓存存储。
Task 内存:Task 内存分为 Task Heap(Task 堆上内存)和 Task Off-Heap(Task 堆外内存),这部分内存用于执行用户代码。

内存配置详解

JVM Mataspace(JVM 元空间):
在这里插入图片描述
JVM OverHead(JVM 执行开销):
在这里插入图片描述
JVM 执行开销计算方式:
执行开销 = 进程内存 * fraction。此计算结果必须落在[192m, 1g]区间内,超过此区间则取边界值。
框架内存:
在这里插入图片描述
Managed Memory(托管内存):
在这里插入图片描述
如果 taskmanager.memory.managed.size 未指定则使用总进程大小 * fraction。
NetWork(网络内存):
在这里插入图片描述
计算方式和 jvm 执行开销一样。
Task 内存:
在这里插入图片描述
Task 堆上内存为 none,为 Flink 内存扣除掉其他内存所得。

内存配置所做优化

优化前:
在这里插入图片描述
存在的问题:
1)进程总内存设置为 16g,但是 Task 所分得的堆内存只占 2 分之 1,容易造成频繁 GC,影响性能,甚至出现 OOM。
2)除了 Task 内存其他内存利用率不高,浪费资源,主要使用的就是 Task 内存资源。
优化后:在这里插入图片描述
优化参数(根据需求自行配置,根据内存使用率来调整):
taskmanager.memory.managed.size: 128m
taskmanager.memory.jvm-metaspace.size: 512m
taskmanager.memory.network.max: 256m
taskmanager.memory.jvm-overhead.max: 512m


本文转载自: https://blog.csdn.net/pp1981002445/article/details/136624923
版权归原作者 free慢 所有, 如有侵权,请联系我们删除。

“Flink 性能优化总结(内存配置篇)”的评论:

还没有评论