大数据Flink（六十）：Flink 数据流和分层 API介绍
因此，Flink 是一个用于在无界和有界数据流上进行有状态计算的通用的处理框架，它既具有处理无界流的复杂功能，也具有专门的运算符来高效地处理有界流。由 Flink 应用程序产生的结果流可以发送到各种各样的系统，并且可以通过 REST API 访问 Flink 中包含的状态。在 Flink 中，认为所
Flink DataStream API详解
如果使用SimpleStringSchema，仅仅能获取value，如果用户希望获取更多信息，比如 key/value/partition/offset ，用户可以通过继承KafkaDeserializationSchema类自定义反序列化对象。它根据给定的FileInputFormat读取指定路径
大数据Flink（五十五）：Flink架构体系
Flink运行时至少存在一个master处理器，如果配置高可用模式则会存在多个master处理器，它们其中有一个是leader，而其他的都是standby。一个Task可以获得的最大并行度取决于整个Flink环境的可用Slot数量，也就是如果有8个Slot，那么最大并行度也就是8，比如1个TM是一个
【大数据】Flink 详解（二）：核心篇 Ⅰ
Flink 支持两种划分窗口的方式（time 和 count）。第一种，按时间驱动进行划分、另一种按数据驱动进行划分。
十三、Flink使用local模式执行任务 并开启Flink的webUI
Flink使用local模式执行任务并开启Flink的webUI
大数据Flink（五十三）：Flink流处理特性、发展历史以及Flink的优势
同时 Flink 支持高度容错的状态管理，防止状态在计算过程中因为系统异常而丢失，Flink 周期性地通过分布式快照技术 Checkpoints 实现状态的持久化维护，使得即使在系统停机或者异常情况下都能计算出正确的结果。由Java语言编写；2019-01-08，阿里巴巴以9000万欧元的价格收购了
Flink RocketMQ Connector实现
Public可以看到，自定义的Source，只需要实现SourceFunction。创建FlinkRocketMQConsumer，实现SourceFunction，重写run()和cancel()方法@Override@Override这样，在FlinkRocketMQConsumer类加载的时候
大数据Flink（五十）：流式计算简介
批量计算是维护一张表，对表进行实施各种计算逻辑。流式计算相反，是必须先定义好计算逻辑，提交到流式计算系统，这个计算作业逻辑在整个运行期间是不可更改的。计算结果上，批量计算对全部数据进行计算后传输结果，流式计算是每次小批量计算后，结果可以立刻实时化展现。，这样的场景下，传统的统一收集数据，再存到数据库
Flink之Kafka Sink
Kafka Sink
Flink
Session 模式用于长时间运行的交互式会话，可以动态提交和管理多个作业。- Application 模式用于一次性或短暂运行的作业，需要将作业打包并手动提交到 Flink 集群执行。Flink 支持这两种模式，可以根据不同的应用场景和需求选择使用适合的模式。
Flink Environment Variable
我们在使用命令发布Flink任务的时候可以根据根据任务需要来设置环境变量(具体命令就是./flink run-application -t yarn-application),而不需要根据使用默认flink-conf.yaml的默认值,同时因为flink并不能自己根据任务的多少来设置算子的并行度等原
FlinkCDC实时读PostgreSQL数据库
使用flinkcdc实时读取pstgresql数据库
Flink实时计算引擎入门教程
Flink实时计算引擎入门教程
5、Flink 的 source、transformations、sink的详细示例（一）
本文介绍了source、transformations和sink的基本用法，下一篇将介绍各自的自定义用法。以上，简单的介绍了source、transformations和sink的使用示例。下文中所有示例都是用该maven依赖，除非有特殊说明的情况。3、在192.168.10.42中输入测试数据，如
windows上简单部署flink
Windows上配置Flink
采用seatunnel提交Flink和Spark任务
seatunnel 是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，架构于Apache Spark 和 Apache Flink之上。seatunnel 让Spark和Flink的使用更简单，更高效。特性。
flink启动报错Failed to construct kafka producer
目前是b的工程，那么会不会是jar冲突了，是自己工程冲突了 还是打的jar和flink_home/jar里的jar冲突了？本地起了一个sink2kafka的demo 也没问题，但是在服务器启动的时候就报错了，试了多次无果，开始分析报错原因。a喜欢打非依赖的jar的包，也就是flink的jar都不打进
Flink详解系列之五--水位线（watermark）
在进行窗口处理时，不可能无限期的等待延迟数据到达，当到达特定watermark时,认为在watermark之前的数据已经全部达到(即使后面还有延迟的数据), 可以触发窗口计算，这个机制就是 Watermark(水位线)，具体如下图所示。如果水位线设置的过于宽松，好处是计算时能保证近可能多的数据被收集
flink设置登录密码
在nginx 配置中添加 如下配置，ip为访问flink服务器ip，一般flink端口为8081，通过nginx转发以后，调整访问端口，这里调整端口为8090。flink 进行standalone安装候，不需要登录密码，可以知己而直接访问，存在一定安全隐患，可以通过nginx以及httpd实现密码验
FlinkSQL 时间语义、窗口和聚合
在创建表的 DDL（CREATE TABLE 语句）中，可以增加一个字段，通过 WATERMARK 语句来定义事件时间属性。WATERMARK 语句主要用来定义水位线（watermark）的生成表达式，这个表达式会将带有事件时间戳的字段标记为事件时间属性，并在它基础上给出水位线的延迟时间。) WIT
