RabbitMq深度学习
RabbitMQ是一个开源的消息队列中间件，它实现了高级消息队列协议（AMQP）。它被广泛用于分布式系统中的消息传递和异步通信。RabbitMQ提供了一种可靠的、可扩展的机制来传递消息，使不同的应用程序能够相互之间进行通信。它支持多种编程语言和平台，并且具有灵活的路由和队列配置选项。同步调用同步调用
kafka详解
kafka是一款分布式、支持分区的、多副本，基于zookeeper协调的分布式消息系统。最大的特性就是可以实时处理大量数据来满足需求。
Kafka跨集群备份解决方案MirrorMaker
从本质上说，MirrorMaker 就是一个消费者 + 生产者的程序。消费者负责从源集群（Source Cluster）消费数据，生产者负责向目标集群（Target Cluster）发送消息。整个镜像流程如下图所kafka跨集群备份解决方案MirrorMaker示：MirrorMaker 连接的源集
kafka入门，节点服役和退役（新增节点和删除节点）(十二)
kafka入门，节点服役和退役（新增节点和删除节点）。
Hadoop分布式集群搭建（三台虚拟机）
搭建hadoop集群完整教程（一步步手把手教你搭建），新建一台虚拟机hadoop01并克隆hadoop02、hadoop03两台虚拟机，配置虚拟机网络，进行配置文件的修改，完成搭建hadoop的分布式集群。
大数据组件-Flume集群环境的启动与验证
本次用到的环境有：Oracle Linux 7.4，三台虚拟机，分别为master,slave1,slave2Hadoop2.7.4集群环境Flume1.6.0。
Hadoop的DataNode无法启动的解决方案
3. 删除HDFS下的DataNode下的Data文件。
基于Hadoop的网上购物行为分析设计与实现
sink3指定了一个名为sink3的数据输出端，使用了hive模式，hive的metastore地址为thrift://hadoop:9083，数据库名称为taobao，表名为taobao_data，数据格式为DELIMITED，分隔符为逗号，字段名称为user_id、item_id、behavio
（四）Kafka 消费者
不同于传统的消息系统，横向伸缩消费者和消费者群组并不会导致 Kafka 性能下降。除了通过增加消费者数量来横向伸缩单个应用程序，实际上，Kafka 的一个主要设计目标是。在这些应用场景中，我们希望。
Hadoop下载安装(物理机)
将hadoop-2-7.4.tar.gz包上传到/root/export/software目录。
【Hadoop】安装部署-完全分布式搭建
Hadoop是一个适合大数据的分布式存储和计算平台。狭义上说Hadoop就是一个框架平台，广义上讲Hadoop代表大数据的一个技术生态圈，包括很多软件框架。而我们的完全分布式，指的是在真实环境下，使⽤多台机器，共同配合，来构建⼀个完整的分布式 ⽂件系统。在真实环境中，hdfs中的相关守护进程也会分布
ZooKeeper的应用场景(集群管理、Master选举)
但是，同时还需要注意的一点是：在分布式日志收集这个场景中，收集器节点上还会存放所有已经分配给该收集器机器的日志源机器列表，如果只是简单地依靠ZooKeeper自身的临时节点机制,那么当一个收集器机器挂掉或是当这个收集器机器中断“心跳汇报”的时候，待该收集器节点的会话失效后，ZooKeeper就会立即
Kafka Connect详解及应用实践
Kafka Connect是一个用于数据导入和导出的工具。它能够把多种数据源（如MySQL，HDFS等）与Kafka之间进行连接，实现数据在不同系统之间的交互以及数据的流动。扩展性：Kafka Connect支持自定义Connector，用户可以通过编写自己的Connector来实现与更多数据源进行
Kafka的工作原理
pull模式的不足之处在于，如果kafka没有数据，消费者会陷入空循环中，针对这一点，Kafka的消费者会在消费时传入timeout参数，如果当前Kafka中没有数据，消费者会等待一个timeout时长再返回。，会被临时踢出ISR，待该follower恢复后，follower会读取本地磁盘记录的HW
kafka 3.5.0集群环境部署（使用自带的zookeeper）
注意：先把集群所有节点的zookeeper启动起来，再启动kafka。
分布式集群——jdk配置与zookeeper环境搭建
本文主要介绍分布式集群搭建，jdk配置以及zookeeper环境配置，以及相关的zookeeper客户端常见的命令介绍，与zookeeper的JavaAPI操作。以下的案例仅供参考。一个开源的分布式协调服务框架，它是集群的管理者。常用用途：它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反
Hadoop 3.2.4 集群搭建详细图文教程
Hadoop 3.2.4 集群搭建详细图文教程
Rabbitmq 常见问题处理
Rabbitmq 常见问题处理
kafka如何保障数据不丢失
自动提交：设置为enable.auto.commit为true，表示开启自动提交，自动提交会在每次调用poll时，提交上次poll时的消费位移，每次poll时，都是提交上次的offset的位移，如果是在单线程的情况，不会出现消费丢失的情况，但是对应多线程的应用来说，就有可能出现消费丢失的情况，例如我
RabbitMQ相关面试题
1、消息去重机制：在发送消息时，为每条消息生成唯一的消息标识符，并将该标识符保存到一个持久化的存储系统中（如数据库、缓存等）。6、broker要等待消费者真正确认消费到了消息时才删除掉消息，这里通常就是消费端ack机制，消费者接收到一条消息后，如6.果确认没问题了，就可以给broker发送一个ack
