【Flink】详解 Flink 中的 Watermark

欢迎来到我的博客，很高兴能够在这里和您见面！欢迎订阅相关专栏：
⭐️ 全网最全IT互联网公司面试宝典：收集整理全网各大IT互联网公司技术、项目、HR面试真题.
⭐️ AIGC时代的创新与未来：详细讲解AIGC的概念、核心技术、应用领域等内容。
⭐️ 大数据平台建设指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台的核心技术和方法。
⭐️《遇见Python：初识、了解与热恋》 ：涵盖了Python学习的基础知识、进阶技巧和实际应用案例，帮助读者从零开始逐步掌握Python的各个方面，并最终能够进行项目开发和解决实际问题。
⭐️《MySQL全面指南：从基础到精通》通过丰富的实例和实践经验分享，带领你从数据库的基本操作入手，逐步迈向复杂的应用场景，最终成为数据库领域的专家。
⭐️ 数据治理：通过通俗易懂的文章，学者们不仅能理解数据治理的重要性，还能掌握数据治理的基本原则和最佳实践。

【数据治理】

详解 Flink 中的 Watermark

摘要

在流处理系统中，处理无序数据是一大挑战，尤其是当数据到达的时间不一致时。Flink 提供了 Watermark 机制来解决这一问题，帮助系统在处理迟到数据时做出智能决策。本篇文章将通过生动的案例，详细讲解 Flink 中的 Watermark 概念及其作用，探讨如何高效使用 Watermark，并提供代码和图表示例，帮助读者理解 Flink 中这一重要机制。

关键词：Flink、Watermark、流处理、无序数据、迟到数据

目录

1. 引言
2. Watermark 是什么？
3. 为什么需要 Watermark？
4. Flink 中 Watermark 的使用 - 示例：订单数据实时处理
5. 如何生成 Watermark - BoundedOutOfOrdernessWatermarks- AscendingTimestamps
6. 迟到数据处理 - Allowed Lateness- Side Outputs
7. Watermark 策略的最佳实践
8. 监控和调试 Watermark
9. 总结

1. 引言

假设你是一名在线订单处理系统的开发者，突然遇到了一堆无序的数据包裹，这些包裹乱七八糟地抵达仓库。有的提前到了，有的迟到了，甚至有些干脆就迷路了。这时，你的仓库主管希望你能按照订单抵达时间准确处理包裹，而不是按它们的到达顺序处理。问题来了：如何在保证效率的前提下，既不遗漏，也不拖延处理？ 这就是 Flink 中 Watermark 所解决的问题——它让流处理系统智能地处理这些无序数据！

2. Watermark 是什么？

在流式数据处理中，Watermark 是一个特殊的标记，用来指示流数据的进度，特别是在处理乱序和延迟数据时。简而言之，Watermark 是一种机制，用来跟踪事件时间的进度。

Watermark 的工作方式：

Watermark 是流中的时间标记，告诉 Flink：“我有理由相信，所有时间戳小于当前 Watermark 的事件都已经到达了。”换句话说，Watermark 是系统对事件时间的大胆推测，一旦 Flink 处理了某个 Watermark，它就会假定所有发生在此 Watermark 之前的事件已经到达。

3. 为什么需要 Watermark？

现实生活中的流数据并不像教科书中的那样整齐有序。网络延迟、系统负载等原因会导致事件无法按时间顺序到达，这种现象称为无序数据。例如，某些事件可能比预期的晚几秒钟到达，而另一些则可能提前到达。Watermark 就是在这种无序的混乱中，帮助我们确保即便数据乱序到达，Flink 仍然能准确地按时间处理数据。

场景：无序的订单处理

假设我们在处理来自全球不同地区的订单数据流，这些订单有时间戳，并且可能由于网络延迟、服务器繁忙等原因导致订单到达的顺序和实际发生的顺序不一致。如果没有 Watermark，我们的系统可能会无法按时完成某些统计任务，甚至忽略重要数据。

4. Flink 中 Watermark 的使用

Flink 提供了强大的 Watermark 机制，允许用户处理乱序数据。接下来，我们用一个案例来展示 Watermark 在实际中的应用。

示例：订单数据实时处理

假设我们正在处理一个实时订单流，订单数据包含时间戳、用户ID、订单金额等信息。目标是实时统计每分钟内的订单总金额。

数据流结构：

{"orderId":"12345","userId":"user1","amount":100.50,"timestamp":1633065071000}

代码示例：

StreamExecutionEnvironment env =StreamExecutionEnvironment.getExecutionEnvironment();DataStream<Order> orderStream = env
    .socketTextStream("localhost",9999).map(newMapFunction<String,Order>(){@OverridepublicOrdermap(String value){// 将输入的字符串解析成 Order 对象returnnewOrder(...);}}).assignTimestampsAndWatermarks(WatermarkStrategy.<Order>forBoundedOutOfOrderness(Duration.ofSeconds(10)).withTimestampAssigner((event, timestamp)-> event.getTimestamp()));

orderStream
    .keyBy(order -> order.getUserId()).window(TumblingEventTimeWindows.of(Time.minutes(1))).sum("amount").print();

env.execute("Order Stream Processing");

在这个代码中，

forBoundedOutOfOrderness(Duration.ofSeconds(10))

表示我们允许数据最多延迟 10 秒到达。在这个窗口内，我们可以容忍一定的延迟而不影响最终结果的准确性。

5. 如何生成 Watermark

Flink 提供了多种生成 Watermark 的策略。下面介绍两种常用的 Watermark 生成方式。

5.1 BoundedOutOfOrdernessWatermarks

BoundedOutOfOrdernessWatermarks 是 Flink 中最常用的 Watermark 策略，允许事件在一定时间范围内乱序。

代码示例：

WatermarkStrategy.<Order>forBoundedOutOfOrderness(Duration.ofSeconds(5)).withTimestampAssigner((event, timestamp)-> event.getTimestamp());

5.2 AscendingTimestamps

如果你确定事件是按时间顺序到达的，可以使用 AscendingTimestamps 策略。

代码示例：

WatermarkStrategy.<Order>forMonotonousTimestamps().withTimestampAssigner((event, timestamp)-> event.getTimestamp());

6. 迟到数据处理

6.1 Allowed Lateness

Flink 提供了处理迟到数据的机制，即“允许的延迟”（Allowed Lateness）。这意味着即使 Watermark 已经到达，Flink 仍然可以处理迟到的事件，只要它们在允许的延迟范围内。

代码示例：

.orderStream
    .keyBy(order -> order.getUserId()).window(TumblingEventTimeWindows.of(Time.minutes(1))).allowedLateness(Time.seconds(30))// 允许迟到 30 秒.sum("amount").print();

6.2 Side Outputs

对于超过允许延迟的数据，Flink 可以将其发送到“侧输出流”，以便后续特殊处理。

代码示例：

OutputTag<Order> lateOrders =newOutputTag<Order>("late-orders"){};

orderStream
    .keyBy(order -> order.getUserId()).window(TumblingEventTimeWindows.of(Time.minutes(1))).allowedLateness(Time.seconds(30)).sideOutputLateData(lateOrders).sum("amount").print();DataStream<Order> lateOrderStream = orderStream.getSideOutput(lateOrders);
lateOrderStream.print("Late Orders");

7. Watermark 策略的最佳实践

1. 根据实际场景调整乱序容忍时间：不同场景下数据乱序的严重程度不同，应根据实际情况设置合理的延迟时间。
2. 监控 Watermark 进度：实时监控 Watermark 的生成和进度，确保系统不会错过重要数据。
3. 结合迟到数据处理机制：根据业务需求处理迟到数据，必要时使用侧输出流来处理过度延迟的数据。

8. 监控和调试 Watermark

Flink 提供了多种监控 Watermark 的工具，如 Flink Web UI 和日志。通过这些工具，我们可以清晰地看到 Watermark 的进度和事件的处理情况。

9. 总结

Watermark 是 Flink 处理无序流数据的关键工具，能够帮助我们应对实际场景中延迟数据的问题。通过合理地使用 Watermark 和迟到数据处理机制，我们可以构建出更为健壮的流处理系统。希望通过本文的案例和详解，读者能对 Watermark 的概念和使用有更加深入的理解，并能够在实际项目中灵活应用。

💗💗💗💗💗💗💗💗💗💗💗💗

💗💗💗💗💗💗💗💗💗💗💗💗