文章目录
Spark Structured Streaming窗口聚合和非窗口聚合
前面我们介绍了Spark Structured Streaming 的 Window和Watermark，还介绍了双流关联，在这个过程中一直提到了一个概念叫做状态，很多人后台私信说表示不是很理解，这个状态是什么，今天我们这里借助窗口聚合和非窗口聚合来说明一下这个问题，例子还是之前的WordCount 的例子
非窗口聚合
我们首先看一下非窗口聚合
非窗口聚合（Non-Window Aggregation）是指对整个数据集进行聚合操作，而不考虑时间窗口。常见的聚合操作包括求和、平均值、最大值、最小值等。非窗口聚合通常用于批处理，适用于静态数据集的分析。
特点：
- 全局计算：对整个数据集进行聚合，不考虑时间维度。
- 批处理：适用于静态数据集的批量处理和分析。
- 简单聚合：支持基本的聚合操作，如求和、平均值等
代码就贴在下面了，不解释了
import org.apache.spark.sql.DataFrame
// 设置需要监听的本机地址与端口号
val host: String = "127.0.0.1"
val port: String = "9999"
// 从监听地址创建DataFrame
var df: DataFrame = spark.readStream
.format
本文转载自: https://blog.csdn.net/2401_84052244/article/details/140958203
版权归原作者 猫猫姐 所有， 如有侵权，请联系我们删除。
版权归原作者 猫猫姐 所有， 如有侵权，请联系我们删除。