大数据新视界 --大数据大厂之 Spark 性能优化秘籍：从配置到代码实践
本文深入探讨 Spark 性能优化，涵盖配置与代码实践。在配置方面，包括内存分配优化、并行度设置、存储级别配置、广播变量配置及解决数据倾斜问题等。代码实践涉及数据读取优化、减少 shuffle 操作、优化算法和函数使用、垃圾回收器配置以及代码调优与监控。通过丰富的案例和代码示例，为读者提供切实可行的
【大数据】Flink 内存管理（二）：JobManager 内存分配（含实际计算案例）
以上 Total Process Memory 的模型图可以分为以下的 4 个内存组件，如果在分配内存的时候，显示的指定了组件其中的1个或者多个，那么JVM Overhead的值就是在其它组件确定的情况下，用Total Process Size- 其它获取的值，必须在min-max之间，如果没有指定
【大数据】Flink 内存管理（一）：设置 Flink 进程内存
Apache Flink 通过严格控制各种组件的内存使用，在 JVM 上提供高效的工作负载。虽然社区努力为所有配置提供合理的默认值，但用户在 Flink 上部署的应用程序种类繁多，这意味着这并非总是可行。为了向用户提供最大的生产价值，Flink 允许对集群内的内存分配进行高级和精细调整。
