记一次Flink任务无限期INITIALIZING排查过程
环境：Flink-1.16.1，部署模式：Flink On YARN，现象：Flink程序能正常提交到 YARN，Job状态是 RUNNING，而 Task状态一直处于 **INITIALIZING**，排查思路有...
kafka-eagle 配置文件修改使用自带的数据库
efak.password=t密码。
Java对接kafka简单示例
下面是一个简单的示例代码，展示了如何使用Java对接Kafka并发送和接收消息： 首先，确保已经在项目中添加了kafka-clients库的依赖。请注意，上面的示例使用了Kafka的2.8.0版本，你可以根据实际情况选择合适的版本。添加依赖后，你可以在你的Java代码中使用Kafka的API，如上面
大数据相关
Storm专注于流式处理，延迟非常低；Kafka, 是一种分布式的，基于发布/订阅的消息系统,类似于消息对列的功能，可以接收生产者（如webservice、文件、hdfs、hbase等）的数据，本身可以缓存起来，然后可以发送给消费者（同上），起到缓冲和适配的作；Flume：分布式、可靠、高可用的服务
SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比
Apache SeaTunnel 是一个非常易用的超高性能分布式数据集成产品，支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据，已应用于数百家企业生产，也是首个由国人主导贡献到 Apache 基金会的数据集成顶级项目。SeaTunnel 主要解决数据集成领域的常见问题：数据源多样：常用的数
Hive SQL，使用UNION ALL 纵向合并表，当字段为空值时报错
SQL 错误 [40000] [42000]: Error while compiling statement: FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: The column KEY._c
微服务技术栈之rabbitMQ高级（二）
当消息投递到MQ，但是路由失败时，通过返回异常信息，同时返回ack的确认信息，代表投递成功临时消息投递到了MQ，并且入队成功，返回ACK，告知投递成功持久消息投递到了MQ，并且入队完成持久化，返回ACK ，告知投递成功其它情况都会返回NACK，告知投递失败其中ack和nack属于机制，ack是投递成
redis和rabbitmq实现延时队列
一般来说，producer 将消息投递到 broker 或者直接到queue 里了，consumer 从 queue 取出消息进行消费，但某些时候由于特定的原因导致queu 中的某些消息无法被消费，这样的消息如果没有后续的处理，就变成了死信，有死信自然就有了死信队列。例如，当用户完成某个操作后，系统
Linux搭建Kafka详细一步一步指南(linux启动kafka脚本)
下载安装包上传到服务器并解压，配置kafka服务，启动脚本关闭脚本，开机自启动，成功搭建，一步一步详细教程，轻松搭建
【博学谷学习记录】超强总结，用心分享|大数据之flinkCDC
Flink CDC 基于数据库日志的 Change Data Caputre 技术，实现了全量和增量的一体化读取能力，并借助 Flink 优秀的管道能力和丰富的上下游生态，支持捕获多种数据库的变更，并将这些变更实时同步到下游存储。官网链接：https://ververica.github.io/fl
hive rlike
需要注意的是，在 Hive 中使用正则表达式时，通常需要使用正则表达式的规则语法。它用于判断一个字符串是否匹配指定的正则表达式。，我们想要查找内容中包含数字的行，可以使用。是用来进行正则表达式匹配的操作符。在 Hive SQL 中，列中包含任何数字的行。
Hadoop的基本介绍
本文基本介绍了Hadoop
软考高级：数据库、数据仓库和数据湖概念和例题
明明如月学长， CSDN 博客专家，大厂高级 Java 工程师，《性能优化方法论》作者、《解锁大厂思维：剖析《阿里巴巴Java开发手册》》、《再学经典：《Effective Java》独家解析》专栏作者。
(增加细粒度资源管理)深入理解flink的task slot相关概念
深入理解flink的task slot相关概念
实时数据处理的流式计算框架：Apache Spark Streaming 与 Apache Flink 的实践
1.背景介绍随着互联网的普及和大数据时代的到来，实时数据处理变得越来越重要。实时数据处理技术可以帮助企业更快地响应市场变化，提高业务效率，提升竞争力。在大数据处理领域，流式计算是一个重要的技术，它可以实时处理大量数据，并在数据到达时进行分析和处理。Apache Spark Streaming 和 A
educoder-Hadoop开发环境搭建
进入过后，移动光标，移动到最末端按住键盘 fn + delete看到最末端出现–insert–就能进入写入操作然后输入在英文键盘下按esc键冒号shift + :输入wq就能退出。
探索Flink CDC Connectors：实时数据流处理的新里程碑
探索Flink CDC Connectors：实时数据流处理的新里程碑项目地址:https://gitcode.com/ververica/flink-cdc-connectors在大数据时代，实时数据处理已经成为业务运营的核心需求。Apache Flink以其高性能、低延迟和强大的状态管理能力，在
Pulsar 社区周报 | No.2024.03.08 Pulsar-Spark Connector 助力实时计算
关于ApachePulsarApache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。Gi
【Flink】窗口实战：TUMBLE、HOP、SESSION
在流式计算中，流通常是无穷无尽的，我们无法知道什么时候数据源会继续 / 停止发送数据，所以在流上处理聚合事件（count、sum 等）的处理方式与批处理中的处理方式会有所差异。在流上一般用窗口（Window）来限定聚合的范围，例如 “过去 2 分钟网站点击量的计数”、“在最近 100 个人中点赞这个
HBase Shell 操作：自动拆分和预分区
Compaction 本质上是一个排序合并的操作，合并操作需要占用大量内存，因此文件越大，占用内存越多。Compaction 有可能需要迁移远程数据到本地进行处理，如果需要迁移的数据是大文件的话，带宽资源就会损耗严重。本关任务：在 HBase Shell 中使用预分区命令创建表使用预分区规则为/ap
