RabbitMQ系列（15）--死信队列的简介与死信队列和死信消费者的实现
(21)查看Consumer01控制台的输出，观察dead_queue队列消息数量的变化，因为没有开启Consumer02消费dead_queue队列，可以看到dead_queue队列堆积了1条消息，查看这条消息，可以看出就是我们拒绝掉的info5，这证明消费者拒绝消费消息info5后，消息info
Kafka+redis分布式锁结合使用心得总结
detectionRuleBo.getLogText().append(StrUtil.format("{}-获取锁失败;//加锁后执行前判断是否已经处理过kafka中相同位置的信息了。//加锁 associatedKey()//锁的时间 根据业务需要进行调整。
2023.11.22 -数据仓库的概念和发展
在关系型数据库中，关于数据表设计的基本原则，规则就称为范式。可以理解为，一张数据表的设计结构需要满足的某种设计标准的级别。想要设计一个结构合理的关系型数据库，必须满足一定的范式（规则）。范式的英文名称是Normal Form，简称NF。它是英国人E.F.codd（埃德加·弗兰克·科德）在上个世纪70
Flink CDC 菜鸟教程 -环境篇
FlinkCDC 菜鸟教程-环境篇，环境准备是为后续实践篇章做准备，非常重要，搞清程序运行环境就成功了一半
Kafka 入门到起飞 - Kafka怎么做到保障消息不会重复消费的？ 消费者组是什么？
如果上面结构还不够，两个消费者消费速度依然跟不上，那么我们还可以继续添加消费者，添加到4个消费者，此时主题分区与消费者的关系再次发生变化，需要再平衡，此时一个消费者消费一个分区消息，达到并行消费的效果。如上图，当前只有一个消费者组订阅这个Topic，消费者组里只有一个消费者，那么当前Topic中所有
rabbitMq确认机制之ConfirmType
1. none（默认）：关闭发布确认模式。2. correlated：消息从生产者发送到交换机后触发回调方法。3. simple：会触发回调方法，相当于单个确认（发一条确认一条）。在发布消息成功后使用
【大数据】Docker部署HMS(Hive Metastore Service)并使用Trino访问Minio
团队要升级大数据架构，需要摒弃hadoop，底层使用Minio做存储，应用层用trino火spark访问minio。在使用trino访问minio时，需要使用hive的metastore service，经过调查HMS(Hive Metastore Service)是可以独立于hive组件的，即不需
【Spring异步/多线程任务丢失request请求信息的问题】
Spring异步/多线程任务丢失request请求信息的问题
Git - 导出(archive)、忽略(gitignore)、隐藏(Stash)、合并冲突(merge)的解决方法
本次集中总结了Git4个常规操作，导出(archive)、忽略(gitignore)、隐藏(Stash)、合并冲突(merge)的解决方法，希望帮助到正在辛苦寻找的你。
HIVE数据抽样
hive中分桶其实就是根据某一个字段Hash取模，放入指定数据的桶中，比如将表table按照ID分成100个桶，其算法是hash(id) % 100，这样，hash(id) % 100 = 0的数据被放到第一个桶中，hash(id) % 100 = 1的记录被放到第二个桶中。sort by 提供了单
HBase学习笔记（3）—— HBase整合Phoenix
本文介绍了hbase如何与phoenix结合使用，主要目的是使用sql操作hbase
kafka-消息丢失处理方案
1）首先当 Producer 向 Broker 发送数据后，会进行 commit，如果 commit 成功，由于 Replica 副本机制的存在，则意味着消息不会丢失，但是 Producer 发送数据给 Broker 后，遇到网络问题而造成通信中断，那么 Producer 就无法准确判断该消息是否已
Kafka消费异常处理策略及重试机制
在Kafka消费过程中，异常处理和重试机制是确保消息可靠消费的重要组成部分。通过合理的异常处理策略和重试机制，我们可以提高消费者的容错性和稳定性。在实际应用中，可以根据具体业务需求和系统情况选择适合的处理方式，并进行合理的监控和报警，以确保及时发现和解决异常情况。可以使用监控工具，如Promethe
Hadoop的安装和使用，Windows使用shell命令简单操作HDFS
Hadoop的安装和使用，Windows使用shell命令简单操作HDFS，Hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性。 高可靠性。 高效性。 高可扩展性。 高容错性。 成本低。 运行在Linux平台上。 支持多
hadoop3.3.1单机版环境搭建详细流程记录
单机版hadoop3.3.1搭建详细过程。
大数据之存算分离架构研究
随着硬件技术的快速进步，尤其是网络和存储设备的性能迅速提升，以及云计算厂商推动软硬件协同加速的云存储服务，越来越多的企业开始基于云存储来构建数据存储服务，或数据湖，因此就需要单独再建设一个独立的计算层来提供数据分析服务，这也就是存算分离架构（Disaggregated Storage and Com
Flink（七）【输出算子（Sink）】
Flink Sink输出算子
启动 AWS Academy Learner Lab【教学】（Hadoop实验）
aws hadoop实验
Kafka-Java四：Spring配置Kafka消费者提交Offset的策略
Spring配置Kafka消费者提交offset的策略
SpringCloud（一）Eureka、Nacos、Feign、Gateway
微服务，又叫微服务架构，是一种软件架构方式。它将应用构建成一系列按业务领域划分模块的、小的自治服务。在微服务架构中，每个服务都是自我包含的，并且实现了单一的业务功能。简单来说，就是将一个系统按业务划分成多个子系统，每个子系统都是完整的，可独立运行的，子系统间的交互可通过HTTP协议进行通信（也可以采
