60道KafKa高频题整理（附答案背诵版）
Kafka的Broker是一个独立的Kafka服务器，它负责接收来自生产者的消息并将其存储在Kafka集群中的一个或多个主题中，同时也负责从Kafka集群中的一个或多个主题中检索消息并将其发送给消费者。物理上来说，不同的 Topic 的消息是分开存储的，每个 Topic 可以有多个生产者向它发送消息
使用spark做数据清洗（增量）
如何做数据清洗
Spark Core--加强
Spark Core深入学习,对Spark内核的细化
RabbitMQ 消息丢失解决 （高级发布确认、消息回退与重发、备份交换机）
一、发布确认SpringBoot版本首先发布消息后进行备份在缓存里，如果消息成功发布确认到交换机，则从缓存里删除该消息，如果没有成功发布，则设置一个定时任务，重新从缓存里获取消息发布到交换机，直到成功发布到交换机。确认机制图例：代码实战：一个交换机：confirm.exchange，一个队列：con
深入理解 Hadoop （五）YARN核心工作机制浅析
YARN 可以说是 Hadoop 中设计最为复杂的框架了，本章节先从 YARN 的核心工作机制入手，为读者梳理 YARN 的核心设计理念，方便后续章节深入研究 YARN。
高可用分布式部署Spark、完整详细部署教程
spark的分布式高可用 部署方案
RabbitMQ创建新用户,并给用户添加角色和授权
RabbitMQ创建新用户,并给用户添加角色和授权以及删除用户
大数据之Spark架构设计与工作流程
通过上述组件的协作，Spark 实现了一个高度灵活且容错性强的大数据处理框架，能够支持批处理、流处理、机器学习等多种应用场景。
2024.1.4 Spark Core ,RDD ,算子
构建RDD, setMaster 的local 数量 ,minPartitions , 文件的具体数量 ,都会影响分区的数量, 当设置了minPartitions的时候,7 .RDD 的分区数据量受到多个因素,例如:机器Cpu的核数 , 调用的算子 , 算子中参数的设置, 集群的类型等 . 实际中一
RabbitMQ消息确认机制
在使用RabbitMQ发送消息如果出现消息没有发送到，队列没有接收到情况。需要消息确认来排错。
聊聊kafka client性能调优及kafka最佳实践
其实可以看到producer的batch.size和linger.ms就是借鉴了tcp/ip的网络发送算法。tcp/ip的Nagle算法大致的规则如下如果包长度达到MSS，则允许发送如果包含FIN，则允许发送如果设置了TCP_NODELAY，则允许发送未设置TCP_CORK选项时，若所有发出去的小数
RabbitMQ解决消息丢失以及重复消费问题
RabbitMQ如何解决消息丢失问题：生产者确认机制、持久化消息、消费者ACK确认机制、集群部署、预拉取策略调整、监控与告警基于Spring AMQP框架整合ACK/NACK机制RabbitMQ 如何实现幂等性设计：业务层幂等处理、确认模式选择、死信队列与重试策略、幂等服务设计、事务与补偿机制幂等服
kafka下载与安装教程
kafka、zookeeper下载与安装教程.
25道RabbitMQ面试题含答案（很全）
RabbitMQ是一个开源的消息代理软件，使用Erlang语言编写，实现了高级消息队列协议（AMQP）。它提供了一种可靠的方式来在应用程序之间发送和接收消息，支持多种编程语言和平台。RabbitMQ的主要特点是灵活的消息路由、可扩展性和可靠性。它允许生产者将消息发送到交换机，交换机根据路由键或属性将
【RabbitMQ】RabbitMQ详解(二)
先从概念解释上搞清楚这个定义，死信，顾名思义就是无法被消费的消息，字面意思可以这样理解，一般来说，producer 将消息投递到 broker 或者直接到queue 里了，consumer 从 queue 取出消息 进行消费，但某些时候由于特定的原因导致 queue 中的某些消息无法被消费，这样的消
RabbitMq - windows 系统上安装
在安装rabbitmq 之前，我们需要了解 RabbitMQ 和 Erlang/OTP 版本对应关系：官网地址：https://www.rabbitmq.com/which-erlang.html。
大数据编程实验四：SparkStreaming编程
大数据编程实验，学习有关Spark Streaming的基本编程方法和利用Spark Streaming处理来自不同数据源的数据以及DStream的各种转换、DStream的数据输出保存到文本文件或MySQL数据库中操作。
Kafka的简介及架构
消息队列是指数据在一个容器中,从容器中一端传递到另一端过程;Kafka是一款消息队列中间件产品,来源于领英公司,后期贡献给了Apache,目前是Apache旗下的顶级开源项目,采用语言是Scala;本文介绍了Kafka的的基本架构,以及Kafka使用中的常用shell命令,以及Kafka的Pytho
Hadoop精选18道面试题(附回答思路)
Hadoop精选18道面试题
Spark SQL
Spark SQL是Spark中用于结构化数据处理的组件，它提供了一种通用的访问多种数据源的方式，可以访问的数据源包括Hive、Avro、Parquet、ORC、JSON和JDBC等。
