相比于其他流处理技术，Flink的优点在哪？
Apache Flink 是一个开源的流处理框架，用于在高吞吐量和低延迟的情况下进行大规模数据流的处理。Flink 以其在流处理领域的性能而闻名，相比于其他流处理技术，Flink 提供了一些独特的特性和优化，使其在某些情况下更快。
使用pyspark远程连接mysql（anaconda）
在学习《spark编程基础 python版》第5.7章 spark SQL时遇到的问题。因为这本书全程都是在linux上搞，搞得我实在难受，然后我看黑马那一套可以配置远程解释器，所以我尝试使用Windows下Pycharm配置远程anaconda解释器（anaconda在linux上），然后使用py
Kafka（四）【Kafka 消费者】
Kafka 消费者
【2023】通过docker安装hadoop以及常见报错
准备安装的环境，最好是cenos的环境，相对问题会少一些，我因为是mac的内存比较珍贵，所以嫌麻烦就没安装虚拟机，所以问题非常多（所以还是不要嫌麻烦最好），就使用的是mac。的，该镜像除了hadoop还需要有jdk，所以需要先把jdk的包先准备好，因为要用到hive，我把hive的包也内嵌进去了，所
Eureka和zookeeper的区别
前言最近在面试的时候，被问到了这个问题，作答的不是很好，在此进行整理和学习，希望能够帮助大家。CAP理论在了解eureka和zookeeper区别之前，我们先来了解一下这个知识，cap理论。 1998年的加州大学的计算机科学家 Eric Brewer 提出，分布式有三个指标。Consistency，
Flink CDC-MySQL CDC配置及DataStream API实现代码...可实现监控采集多个数据库的多个表
Flink CDC-MySQL CDC配置及DataStream API实现代码, 可实现监控采集多个数据库的多个表
Dbeaver，Hudi，Hive，Spark，Presto应用问题及解决措施梳理
Dbeaver，Hudi，Hive，Spark，Presto应用问题及解决措施梳理
SpringCloud-搭建Eureka服务模块
本文深入探讨了使用Spring Cloud构建分布式项目时搭建Eureka的关键步骤。Eureka在分布式系统中起到了连接各个微服务的纽带作用，使得服务之间的交互变得更加灵活、可靠。通过了解和配置Eureka，我们能够更好地搭建和管理分布式项目，提升系统的可维护性和可扩展性。
Flink 内容分享(七)：Flink 读写 HBase 总结
总结 Flink 读写 HBase本文总结了Flink SQL 读写 HBase 的参数配置，解决了在kerberos环境下因 hudi 包 hbase-site.xml 配置冲突引起的异常，学习总结了 Flink SQL 读写 HBase 时加载 HBase 配置的优先级，但是没有详细的分析源码中
FlinkCDC系列：数据同步对部分字段的处理，只更新部分字段
一个可选的、以逗号分隔的正则表达式列表，与列的完全限定名称匹配以从更改事件记录值中排除。列的完全限定名称的格式为databaseName。一个可选的、以逗号分隔的正则表达式列表，与列的完全限定名称匹配以包含在更改事件记录值中。列的完全限定名称的格式为databaseName。单表可以只写列名，如果是
kafka集群和Filebeat+Kafka+ELK
主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发 too many connection 错误，引发雪崩效应。我们使用消息队列，通过异步处理请求，从而缓解系统的压力。消息队列常应用于异步处理，流量削峰，
【RabbitMQ】死信（延迟队列）的使用
持久化exchange要持久化queue要持久化message要持久化消息确认启动消费返回（@ReturnList注解，生产者就可以知道哪些消息没有发出去）生产者和Server（broker）之间的消息确认消费者和Server（broker）之间的消息确认。
Hadoop原理之HDFS
hdfs由三部分组成:分别是 namenode,SecondaryNameNode,datanodenamenode: 主节点.1. 管理整个HDFS集群.2. 维护和管理元数据.SecondaryNameNode: 辅助节点.辅助namenode维护和管理元数据的.datanode: 从节点.1.
Flink SQL 实时数据开发经验总结
Retract流包含两种类型的消息：新增消息（Add Message）和回撤消息（Retract Message）。在动态表被转化为Retract流时，动态表的INSERT操作会被编码为新增消息，DELETE操作会被编码为回撤消息，UPDATE操作会被编码为一条回撤消息以及一条新增消息。那么怎么来理
Hive-SQL语法大全
]，表示可选，如上[LOCATION]表示可写、可不写，表示或，如上ASC | DESC，表示二选一…，表示序列，即未完结，如上表示在SELECT后可以跟多个，以逗号隔开()，表示必填，如上(A | B | C)表示此处必填，填入内容在A、B、C中三选一。
大数据和AI-竞赛平台
大数据、数据分析、AI、竞赛
Flink的错误处理与故障恢复
1.背景介绍Flink是一个流处理框架，用于处理大规模数据流。在实际应用中，Flink可能会遇到各种错误和故障，因此错误处理和故障恢复是Flink的关键功能之一。本文将深入探讨Flink的错误处理与故障恢复，涉及到其核心概念、算法原理、代码实例等方面。2.核心概念与联系Flink的错误处理与故障恢复
Flink1.17版本安装部署
flink同spark一样也是一种计算引擎，只不过在流式处理、实时计算方面比spark更为优秀，从flink发布至今已经更新到1.18版本，功能也在逐步的迭代完善中，最先开始接触的是flink cdc，由于项目中有实时展示数据的需求，当时在调研了几种cdc方案后，最后决定尝试flink cdc，就使
【大数据】Flink 详解（十）：SQL 篇 Ⅲ（Flink SQL CDC）
在最新 CDC 调研报告中，Debezium 和 Canal 是目前最流行使用的 CDC 工具，这些 CDC 工具的核心原理是抽取数据库日志获取变更。在经过一系列调研后，目前 Debezium（支持全量、增量同步，同时支持 MySQL、PostgreSQL、Oracle 等数据库），使用较为广泛。
提炼设计框架，一文搞懂Redis/MySQL/Kafka为什么这样设计
大家好，我是东邪狂想，本文是Redis、MySQL、Kafka系列第一篇。，最终被塑造成这样一个“有血有肉”的系统在学习MySQL、Redis、Kafka的过程中，发现了它们之间其实存在一定的共性，在设计之初，均考虑过相同的问题，在《Designing Data-Intensive Applicat
