使用RabbitMQ死信队列关闭未支付的订单
RabbitMQ死信队列(Dead-Letter Exchange,简称DLX)是一种特殊类型的交换机,用于处理在队列中无法被消费的消息。当消息无法被消费时,它会被转发到死信队列中,以便进一步处理。消息无法被消费者处理:例如,如果消费者崩溃或消息的格式不正确,则无法处理消息。此时,消息将被发送到死信
2023年最新kafka常见面试题
数据传输的事务定义通常有以下三种级别:最多一次: 消息不会被重复发送,最多被传输一次,但也有可能一次不传输最少一次: 消息不会被漏发送,最少被传输一次,但也有可能被重复传输.精确的一次(Exactly once): 不会漏传输也不会重复传输,每个消息都传输被一次而且仅仅被传输一次,这是大家所期望的。
RabbitMQ启动失败的一系列尝试
slave2在三台虚拟机关闭之后,第二天启动虚拟机后,执行如下命令后,使用 lsof -i:5672 查看无任何返回信息:三台虚拟机均是如此,于是开始尝试。
eureka自我保护模式详解(全网最全)
当微服务客户端启动后,会把自身信息注册到Eureka注册中心,以供其他微服务进行调用。
Spark数据倾斜及解决方法
Spark算子使用过程中遇到的数据倾斜问题及其解决方法,该数据倾斜也适用于其他计算引擎中
SpringCloud学习路线(3)—— Eureka注册中心
对Eureka注册中心的搭建、注册服务、负载均衡的使用,以及对负载均衡策略的介绍与修改
Seatunnel-2.3.0源码解析
的数据源到计算任务中。用户自定义数据源则通过实现。
Flink读取kafka数据报错
【代码】Flink读取kafka数据报错。
关于RabbitMQ的20个问题
RabbitMQ是一款开源的,Erlang编写的,基于AMQP协议的,消息中间件;可以用它来:解耦、异步、削峰。在非cluster模式下,元数据主要分为Queue元数据(queue名字和属性 等)、Exchange元数据(exchange名字、类型和属性等)、Binding元数据 (存放路由关系的查
如何解决elasticsearch分页总数量超过10000条就报错
总之,对于elasticsearch分页总数量超过10000条就报错的问题,我们可以通过合理的查询、聚合方式和索引优化来处理。4. 使用索引模式优化:索引模式是Elasticsearch中的一种优化方式,可以帮助我们在搜索时提高效率。3. 使用不同的查询和聚合方式:如果我们的查询和聚合方式太过复杂,
Hive调优之计算资源配置(一)
hive调优
IDEAJava项目使用Groovy文件编译的时候报错的解决, 以及Groovy的使用
IDEAJava项目使用Groovy文件编译的时候报错的解决, 以及Groovy的使用
【elasticsearch】elasticsearch7.x集群搭建
elasticsearch7.x集群搭建
SpringBoot整合RabbitMQ及其原理分析
SpringBoot整合RabbitMQ及其原理分析
六、数据仓库详细介绍(ETL)经验篇
日常工作中大多数时候都是在做数据开发,ETL 无处不在。虽然最近两年主要做的大数据开发,但感觉日常干的这些还是 ETL 那点事儿,区别只是技术组件全换了、数据量大了很多。前几年数仓势微,是因为传统的那些工具数据库等无法解决数据量进一步膨胀带来的计算问题,大数据火爆也是因为当时大数据开发门槛很高。可是
5、kafka监控工具Kafka-Eagle介绍及使用
早期,要监控Kafka集群我们可以使用Kafka Monitor以及Kafka Manager,但随着监控的功能要求、性能要求的提高,这些工具已经无法满足。Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点,重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控
数据建模的基本流程
数据建模的基本流程主要包含六个步骤:确定分析目标、数据理解、数据准备、建立模型、模型评估、模型发布与应用。
Offset Explorer2 监视kafka的利器
kafka作为一个生产者和消费者集为一体的框架,消费者必须一直保持打开的状态,并且每隔一段时间接收一次数据,才能够保持生产者放入的数据及时被处理掉,而生产者则可以每隔一段时间发送一波数据,这样消费者就能够接收到了。Offset Explorer2 可以有效的监视kafka数据是否被接收到,并且可视化
flink-sql读写hive-1.16
本文为 flink 1.16 官网中读写 hive 部分的翻译整理。
hadoop命令行查看hdfs容量剩余
hadoop dfsadmin -report 也可以通过浏览器访问50070端口查看。