60道KafKa高频题整理（附答案背诵版）
Kafka的Broker是一个独立的Kafka服务器，它负责接收来自生产者的消息并将其存储在Kafka集群中的一个或多个主题中，同时也负责从Kafka集群中的一个或多个主题中检索消息并将其发送给消费者。物理上来说，不同的 Topic 的消息是分开存储的，每个 Topic 可以有多个生产者向它发送消息
大数据深度学习卷积神经网络CNN：CNN结构、训练与优化一文全解
卷积神经网络是一种前馈神经网络，它的人工神经元可以响应周围单元的局部区域，从而能够识别视觉空间的部分结构特征。卷积层: 通过卷积操作检测图像的局部特征。激活函数: 引入非线性，增加模型的表达能力。池化层: 减少特征维度，增加模型的鲁棒性。全连接层: 在处理空间特征后，全连接层用于进行分类或回归。卷积
使用spark做数据清洗（增量）
如何做数据清洗
基于Spark协同过滤算法的推荐系统的设计与实现
就业推荐系统spark ml推荐系统协同过滤招聘平台爬虫
Spark Core--加强
Spark Core深入学习,对Spark内核的细化
RabbitMQ 消息丢失解决 （高级发布确认、消息回退与重发、备份交换机）
一、发布确认SpringBoot版本首先发布消息后进行备份在缓存里，如果消息成功发布确认到交换机，则从缓存里删除该消息，如果没有成功发布，则设置一个定时任务，重新从缓存里获取消息发布到交换机，直到成功发布到交换机。确认机制图例：代码实战：一个交换机：confirm.exchange，一个队列：con
Hadoop期末总复习
Hadoop期末复习
深入理解 Hadoop （五）YARN核心工作机制浅析
YARN 可以说是 Hadoop 中设计最为复杂的框架了，本章节先从 YARN 的核心工作机制入手，为读者梳理 YARN 的核心设计理念，方便后续章节深入研究 YARN。
高可用分布式部署Spark、完整详细部署教程
spark的分布式高可用 部署方案
曹操出行基于 Hologres+Flink 的实时数仓建设
在整个流程中，涉及到的数据将会在我们的业务系统中流转，主要包括有营销、订单、派单、风控、支付、履约这些系统。这些系统产生的数据将存储在RDS中，并进一步流入实时数仓中以进行分析和处理。最终数据会进入到不同的使用场景中，比如实时的标签，实时大屏、多维BI分析，还有实时业务监控以及实时算法决策。
RabbitMQ创建新用户,并给用户添加角色和授权
RabbitMQ创建新用户,并给用户添加角色和授权以及删除用户
Hive简述
而传统的数据仓库是基于关系数据库的，无法满足快速增长的海量数据存储的需求，只能支持结构化数据的存储，没有办法有效处理不同类型的非结构化数据，比如日志，也没有办法水平扩展，导致计算和处理的能力不足。4、分区，Hive中的一个表可以有一个或者多个的分区，这些分区决定了数据的存储方式，使得查询操作只查询扫
微服务集成Windows版kafka
Windows环境下微服务集成kafka
大数据之Spark架构设计与工作流程
通过上述组件的协作，Spark 实现了一个高度灵活且容错性强的大数据处理框架，能够支持批处理、流处理、机器学习等多种应用场景。
大数据本地环境搭建-Linux基础环境搭建
链接：https://pan.baidu.com/s/1sV8Rkz3hR8Z7MS-KQ2pDbQ?在平时使用www.baidu.com域名访问时，最终会同dns服务器将域名解析为ip地址访问。版本应该对应java上的版本(这个是从别的地方copy的图,摆个样子)分别在 node1/node2/n
大数据引爆点：数据可视化的飞速发展
在信息时代，数据如潮水般涌入，企业和个人面临的挑战前所未有。而在这个数据的浩瀚海洋中，数据可视化如一道明亮的灯塔，引领着信息时代的航行者。近几年，数据可视化以其直观、生动的特性，迅速成为了信息表达和决策分析的重要工具。那么，是什么推动了数据可视化的快速发展呢？
2024.1.4 Spark Core ,RDD ,算子
构建RDD, setMaster 的local 数量 ,minPartitions , 文件的具体数量 ,都会影响分区的数量, 当设置了minPartitions的时候,7 .RDD 的分区数据量受到多个因素,例如:机器Cpu的核数 , 调用的算子 , 算子中参数的设置, 集群的类型等 . 实际中一
Kafka安全认证机制详解之SASL_SCRAM
SASL/SCRAM 通过将认证用户信息保存在 ZooKeeper 的方式，避免了动态修改需要重启 Broker 的弊端。在实际使用过程中，可以使用 Kafka 提供的命令动态地创建和删除用户，无需重启整个集群。因此，如果打算使用 SASL/PLAIN，不妨改用 SASL/SCRAM 试试。不过要注
关于Kafka事务处理的详细讲解
producer可能给多个topic，多个partition发送消息，这些消息组成一个事务，这些消息需要对consumer同时可见或者同时不可见。Kafka事务需要在producer端处理，consumer端不需要做特殊处理，跟普通消息消费一样。
RabbitMQ消息确认机制
在使用RabbitMQ发送消息如果出现消息没有发送到，队列没有接收到情况。需要消息确认来排错。
