分布式 - 消息队列Kafka：Kafka 消费者消费位移的提交方式
到目前为止，我们知道消息的拉取是根据poll（）方法中的逻辑来处理的，这个poll（）方法中的逻辑对于普通的开发人员而言是一个黑盒，无法精确地掌控其消费的起始位置。与消费者中的其他处理过程一样，自动提交也是在轮询循环中进行的。假设刚刚提交完一次消费位移，然后拉取一批消息进行消费，在下一次自动提交消费
从零到Kafka：万字带你体验Spring Boot整合消息驱动的奇妙之旅
在Kafka 中，可以自定义消息的序列化和反序列化过程，以便按照需求对消息进行定制化处理。一般来说，Kafka 使用的默认序列化器是基于字节数组的序列化和反序列化。但有时候为了处理更复杂的消息格式需要自定义序列化器来处理。在Kafka中，如果需要使用自定义的序列化器，可以实现接口。假设处理自定义的对
Kafka保证消息幂等以及解决方案
1、幂等的基本概念幂等简单点讲，就是用户对于同一操作发起的一次请求或者多次请求的结果是一致的，不会产生任何副作用。幂等分很多种，比如接口的幂等、消息的幂等，它是分布式系统设计时必须要考虑的一个方面。查询操作(天然幂等)查询一次和查询多次，在数据不变的情况下，查询结果是一样的。查询是天然的幂等操作删除
Spark---介绍及安装
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapR
Kafka 消费者重平衡机制详解
Kafka消费者是指从Kafka集群中读取消息的客户端应用程序。消费者使用Kafka提供的API来订阅一个或多个主题，然后从主题中拉取消息，并对消息进行处理。Kafka消费者能够以非常高效的方式读取海量、分布式的数据流，并将其转化为有用的业务实现。重平衡是指在消费者加入或离开消费者群组时，由消费者协
RabbitMQ基础
RabbitMQ基础
Kafka——两种集群搭建详解
Kafka是一个能够支持高并发以及流式消息处理的消息中间件，并且Kafka天生就是支持集群的，今天就主要来介绍一下如何搭建Kafka集群。Kafka目前支持使用Zookeeper模式搭建集群以及KRaft模式（即无Zookeeper）模式这两种模式搭建集群，这两种模式各有各的好处，今天就来分别介绍一
2023_Spark_实验十七：导入招聘大数据（项目）
基于Spark SQL读取csv文件，并将获得的DataFrame数据存入MySQL数据库
手写消息队列（基于RabbitMQ）
在实际的后端开发中，特别是分布式系统里，跨主机使用生产者消费者模型是非常普遍的需求。因此通常会把阻塞队列单独分离出来，赋予更加丰富的功能，封装成一个独立的服务器程序，这个程序就称为 消息队列。
Kafka 01——Kafka的安装及简单入门使用
Kafka 01——Kafka的安装及简单入门使用
搭建hadoop初次格式化 格式化了很多次报错解决方案（亲测好用）
那我们在格式化时，不小心格式化多次，就会导致主从节点之间互相不识别。然后导致启动hadoop集群时，主节点的namenode进程可能不会启动或者从节点的datanode可能不会启动。在搭建完hadoop集群时，初次启动HDFS集群，需要对主节点进行格式化操作，其本质是清理和做一些准备工作，因为此时的
rabbitmq命令使用
rabbitmq命令使用
zookeeper mac安装
这边工作中用到了zookeeper组件，但自己独立安装弄的不太多，这边本机mac装一个做测试使用以下是安装记录，可以作为参考从以下链接zookeeper版本列表，可以选择自己要用的版本。
设置RabbitMQ超时时间
RabbitMQ默认的超时时间是30分钟，在消息消费超过30分钟后，rabbitMQ会发生错误，导致整个channel被销毁，无法继续消费。值得注意的是，这个事临时更改，永久更改需要进入rabbit.conf文件里修改。在RabbitMQ安装的终端执行。命令，将超时时间延长。可以查看设置的超时值。
Spark 9：Spark 新特性
由于缺乏或者不准确的数据统计信息(元数据)和对成本的错误估算(执行计划调度)导致生成的初始执行计划不理想，在Spark3.x版本提供Adaptive Query Execution自适应查询技术，通过在”运行时”对查询执行计划进行优化, 允许Planner在运行时执行可选计划,这些可选计划将会基于运
解决Kafka新消费者组导致重复消费的问题
通过使用唯一的消费者组ID、利用Kafka的消费者组协调器或手动管理消费者偏移量，我们可以避免重复消费并确保消息的正常处理。无论是使用唯一的消费者组ID、利用Kafka的消费者组协调器，还是手动管理消费者偏移量，都需要根据团队的实际情况来进行选择和配置。如果我们使用相同的消费者组ID，Kafka会将
如何做 Kafka 的性能测试
如何做 Kafka 的性能测试
Kafka 之生产者与消费者基础知识：基本配置、拦截器、序列化、分区器
自定义生产者拦截器类需要继承 org.apache.kafka.clients.producer.ProducerInterceptor，并实现其中的方法：onSend(ProducerRecord record)是发送消息之前的切面方法；onAcknowledgement(RecordMetada
windows环境下安装RabbitMQ
一、RabbitMq简介1.1消息队列中间件简介消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题实现高性能，高可用，可伸缩和最终一致性[架构] 使用较多的消息队列有 ActiveMQ(安全)，RabbitMQ，ZeroMQ，Kafka(大数据)，MetaMQ，Roc
基于Hadoop大数据技术和协同过滤算法的就业推荐系统
基于Hadoop大数据技术和协同过滤算法的就业推荐系统
