分布式 - 消息队列Kafka：Kafka生产者发送消息的方式
具体来说，当生产者成功发送消息时，回调函数会被传递一个RecordMetadata对象，该对象包含了发送消息的相关信息，如消息所在的分区、消息在分区中的偏移量等。回调函数会在 producer 收到 ack 时调用，该方法有两个参数，分别是元数据信息（RecordMetadata）和异常信息（Exc
大数据Flink（七十）：SQL 动态表 & 连续查询
可以理解为虽然 group by user, tumble(xxx) 上游也是一个源源不断的数据，但是这个查询本质上是对时间上的划分，而时间都是越变越大的，当前这个滚动窗口结束之后，后面来的数据的时间都会比这个滚动窗口的结束时间大，都归属于之后的窗口了，当前这个滚动窗口的结果数据就不会再改变了，因此
Kafka入门， 消费者工作流程（十八）
pull(拉)模式：consumer采用从broker中主动拉取数据。Kafka采用这种方式。push(推)模式：Kafka没有采用这种方式，因为由broker决定消息发送速率，很难适应所有消费者的速率。例如推送速度是50m/s，consumer1，consumer2就来不及处理消息pull模式不足
Flink On k8s
flink-1.15.1 on k8s
Springboot 实践（13）spring boot 整合RabbitMq
1、创建web project项目，名称为“SpringbootAction-RabbitMQ”2、修改pom.xml文件，添加amqp使用jar包3、 修改application.xml，配置服务器RabbitMQ服务器4、 添加RabbitMQ配置文件5、 添加producer生产者文件6、添加
jdbc集成phoneix hbase
【代码】jdbc集成phoneix hbase。
Kafka3.0.0版本——Leader故障处理细节原理
Kafka3.0.0版本——Leader故障处理细节原理
大数据之Kafka————java来实现kafka相关操作
生产者多线程是一种常见的技术实践，可以提高消息生产的并发性和吞吐量。通过将消息生产任务分配给多个线程来并行地发送消息，可以有效地利用系统资源，加快消息的发送速度。Java中写在生产者输入内容在kafka中可以让消费者提取。（2）、Producer进行多线程操作。一、在java中配置pom。通过jav
【消息中间件】详解三大MQ：RabbitMQ、RocketMQ、Kafka
一文详解三大MQ，RabbitMQ、RocketMQ、Kafka，各自的使用、原理和适用场景。
python连接hive
1、下载pyhive、thrift和sasl三个包（pip install就好）2、目前遇到的问题： sasl安装问题：（1）sasl安装需要到相关网站下载whl之后找到和python适配的版本进行安装，安装网址：https://www.lfd.uci.edu/~gohlke/pyth
03.DolphinScheduler资源中心
当获取到任务组资源的任务结束运行后，会释放任务组资源，释放后会检查当前任务组是否有任务等待，如果有则标记优先级最好的任务可以运行，并新建一个可以执行的event。您可在新建任务定义时，可配置对应的任务组，并配置任务在任务组内运行的优先级。【任务组名称】：任务组配置页面显示的任务组名称，这里只能看到该
Eureka注册中心
看到 URL 以服务名开始时，它们会向 Eureka 服务注册中心查询这个服务名对应的实际网络地址（即 IP 地址和端口号），然后再发起实际的网络请求。此外，这种方式还允许 Spring Cloud 在请求发送前，根据从 Eureka Server 获取的服务实例列表进行客户端负载均衡（通常是轮询或
kafka服务端允许生产者发送最大消息体大小
kafka服务端允许生产者发送最大消息体大小
hive查询区分大小写
hive查询如何区分大小写
B080-RabbitMQ
RabbitMQ
轻松通关Flink第19讲：Flink 如何做维表关联
这一课时我们讲解了 Flink 关联维度表的几种常见方式，分别介绍了它们的优劣和适用场景，并进行了代码实现。我们在实际生产中应该从业务本身出发来评估每种方案的优劣，从而达到维表关联在时效性和性能上达到最优。点击这里下载本课程源码。
数据湖真的能取代数据仓库吗？【SNP SAP数据转型 】
湖仓一体架构主要的一点是实现“湖里”和“仓里”的数据能够无缝打通，对数据仓库的弹性和数据湖的灵活性进行有效集成，在该架构中，主要将数据湖作为中央存储库，将机器学习、数据仓库、日志分析、大数据等技术进行整合，形成一套数据服务环，更好地分析、整合数据，让数据仓库和数据湖中的数据可以自由流动，用户可以更便
hive中时间戳与时间字符串相互转换的方法教程
时间戳是数据库常用的存放日期的形式之一，表示从 UTC 时间’1970-01-01 00:00:00’开始到现在的秒数，与常规时间格式如 ‘2018-01-01 00:00:00’可以相互转换，方法如下。
kafka的rebalance机制
再平衡：Reblance是一种协议，规定了一个ConsumerGroup下所有Consumer如何达成一致，来分配订阅Topic的每个分区，尽量让每个消费者分配到相对均匀的分区，使Consumer的资源都能得到充分利用，防止有些Consumer比较忙，有的Consumer比较闲。
在Docker中使用Dockerfile实现ISO文件转化为完整版Centos镜像，并搭建集群数据仓库
在Docker中使用Dockerfile实现ISO文件转化为完整版Centos镜像，并搭建集群数据仓库
