Windows安装和使用kafka
由于kafka依赖jdk和zookeeper，安装kafka之前需要先安装jdk和zookeeper，也可以使用kafka自带的zookeeper。，此处使用kafka自带的zookeeper，不单独安装。下面在Windows系统中安装kafka时使用的ip地址是192.168.10.188，这是我
消息队列-RabbitMQ：延迟队列、rabbitmq 插件方式实现延迟队列、整合SpringBoot
延时队列内部是有序的，最重要的特性就体现在它的延时属性上，延时队列中的元素是希望在指定时间到了以后或之前取出和处理，简单来说，延时队列就是用来存放需要在指定时间被处理的元素的队列。rabbitmq_delayed_message_exchange 插件
RabbitMQ专栏目录
ActiveMQ、RabbitMQ、Kafka、RocketMQ、ZeroMQ消息中间件选型消息中间件应用场景1.RabbitMQ消息队列介绍2.RabbitMQ下载及其安装配置3.RabbitMQ UI管理界面使用（用户、虚拟主机）4.RabbtiMQ消息队列常用命令5.RabbitMQ消息队列类
Kafka：kafka的技术架构？ ①
6）Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，每个partition是一个有序的队列。kafka只保证按一个partition中的顺序将消息发给consumer，不保证一个topic的整体（多个p
RabbitMQ 模型
1：hello world体验最直接的方式，P端发送一个消息到一个指定的queue，中间不需要任何exchange规则。C端按queue方式进行消费。关键代码：(其实关键的区别也就是几个声明上的不同。2.Work queues 工作序列这就是kafka同一groupId的消息分发模式Producer
RabbitMQ基础
按照123的顺序依次执行如果每个业务都用50ms，呢么整个支付服务完成，则需要的时间是几个小demo的时间加和所以同步调用会出现 扩展性差 性能下降 级联失败（一个小demo失效了，整个业务都失效了）的问题，但是某些业务只能使用同步调用。
Rabbitmq消息大量堆积,我慌了！
记得有次公司搞促销活动，流量增加，但是系统一直很平稳（），大家很开心的去聚餐，谈笑风声，气氛融洽，突然电话响起…运维：小李，你们系统使用的rabbitmq的消息大量堆积，导致服务器cpu飙升，赶紧回来看看，服务器要顶不住了小李：好的。
RabbitMQ-3.发送者的可靠性
每个只能配置一个，因此我们可以在配置类中统一设置。我们在publisher模块定义一个配置类：@[email protected]("触发return callback,");});由于每个消息发送时的处理逻辑不一定相同，因此ConfirmCallback需要在每次发消息时定义。具体来说
高性能 Kafka 及常见面试题
本文主要讲述Kafka的基础架构、优点及应用场景和常见的Kafka面试题。Kafka 是一种分布式的，基于发布/订阅的消息系统，原本开发自 LinkedIn，用作 LinkedIn 的事件流（Event Stream）和运营数据处理管道（Pipeline）的基础。
Hadoop搭建（完全分布式）
修改 /opt/module/hadoop-3.1.3/sbin/start-yarn.sh和 /opt/module/hadoop-3.1.3/sbin/stop-yarn.sh。修改 /opt/module/hadoop-3.1.3/sbin/start-dfs.sh和 /opt/module/
合并spark structured streaming处理流式数据产生的小文件
为了解决上述问题，Databricks 提供了小文件自动合并功能，在每次向 Delta 表中写入数据之后，会检查 Delta 表中的表文件数量，如果 Delta 表中的小文件（size < 128MB 的视为小文件）数量达到阈值，则会执行一次小文件合并，将 Delta 表中的小文件合并为一个新的大文
Kafka 集群部署
Kafka_集群部署：搭建ZooKeeper集群、搭建Kafka集群、测试Zookeeper和Kafka集群
ZooKeeper为什么是CP
总结起来，ZooKeeper的ZAB协议，利用【消息广播阶段】和【崩溃恢复阶段】来实现数据一致性。1、在消息广播阶段，leader节点接收和广播事务请求，并根据大多数节点的反馈决定是否进行commit。2、崩溃恢复阶段，当leader不可用时，进行leader选举和数据同步操作。Zxid是ZAB协议
【架构】Kafka 核心全面总结，高可靠高性能核心原理
为了实现强可靠的 kafka 系统，我们需要设置 Request.required.acks= -1，同时还会设置集群中处于正常同步状态的副本 follower 数量 min.insync.replicas>2，另外，设置 unclean.leader.election.enable=false 使
大数据 - Spark系列《八》- 闭包引用
本文将深入探讨闭包引用的原理和应用。首先，我们将介绍闭包引用的概念及其副本的形成机制。随后，通过两个实例代码演示闭包引用在 Spark 中的具体应用场景。接下来，我们将讨论使用 Source.fromFile 和 sc.textFile 两种方法读取数据的差异和适用场景。最后，我们会总结闭包引用的注
消息队列-RabbitMQ：死信队列
为了保证订单业务的消息数据不丢失，需要使用到 RabbitMQ 的死信队列机制，当消息消费发生异常时，将消息投入死信队列中。还有比如说：用户在商城下单成功并点击去支付后在指定时间未支付时自动失效。死信的来源：消息 TTL 过期：TTL 是 Time To Live 的缩写，也就是生存时间。队列达到最
RabbitMQ-消息队列：发布确认高级
在生产环境中由于一些不明原因，导致 RabbitMQ 重启，在 RabbitMQ 重启期间生产者消息投递失败， 导致消息丢失，需要手动处理和恢复。于是，我们开始思考，如何才能进行 RabbitMQ 的消息可靠投递呢
Zookeeper
环境准备:1. 三台虚拟机都需要安装: Zookeeper环境, 这个不用做了, 我给你装好了.2. 三台虚拟机都要配置path环境变量, 这个我没做, 需要你手动做.3. 分别在三台虚拟机中启动, 并查看 Zookeeper节点信息即可.zkServer.sh start | status | s
Hadoop的介绍与安装
HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。MapReduce是一个分布式计算框架：MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分（Map计算/Reduce计
大数据技术之 Kafka
大数据技术之 Kafka文章目录大数据技术之 Kafka第 1 章 Kafka 概述1.1 定义1.2 消息队列1.2.1 传统消息队列的应用场景1.2.2 消息队列的两种模式1.3 Kafka 基础架构第 2 章 Kafka 快速入门2.1 安装部署2.1.1 集群规划2.1.2 集群部署2.1.
