RabbitMQ高级特性 - 生产者消息确认机制
为了保证信息 从生产者 发送到 队列，因此引入了生产者的消息确认机制.通过事务机制实现.通过发送确认机制（confirm 和 return）实现.因为事务机制比较消耗性能，在实际工作中用的也不多，因此这里主要介绍confirm 和 return机制来实现发送放的确认.a）confirm 确认模式如上
数据开发/数仓工程师上手指南(三)数仓构建流程
定义关键绩效指标与业务用户和管理层讨论，确定需要在数据仓库中跟踪的KPI。常见KPI招标项目数：总数、按月分布等。投标公司数：总数、每项目投标公司数等。中标率：按项目、按公司等。平均投标时间：从公告发布到投标截止的时间。评标时间：从投标截止到评标完成的时间。定义维度和构建总线矩阵（Bus Matri
Hadoop 中的大数据技术：调优篇（2）
HDFS默认情况下，一个文件有3个副本，这虽然提高了数据的可靠性，但也带来了2倍的冗余开销。Hadoop 3.x引入了纠删码机制，通过计算方法，可以节省大约50%的存储空间。
大数据-85 Spark 集群 RDD创建 RDD-Action Key-Value RDD详解 RDD的文件输入输出
上节完成了SparkRDD的创建，从集合、文件、RDD创建 RDD的方式，并且详细介绍了 Transformation的操作内容。本节研究Spar的RDD的Action、Key-Value RDD。都需要先把文件当做普通文件来读取数据，然后通过将每一行进行解析实现对CSV的提取。通过 objectF
基于Spark的商品推荐系统设计与实现
在数字化时代的浪潮下，大数据已经渗透到社会的各个领域，特别是在电子商务领域，商品信息的丰富性和用户需求的个性化使得传统的推荐方法难以满足现代商业的需求。它通过计算用户之间的相似度或商品之间的相似度，找到与目标用户兴趣相似的其他用户或与目标商品相似的其他商品，然后根据这些相似用户或商品的评分和偏好，为
Ubuntu下python3.12安装, 分布式 LLM 推理 exo 安装调试过程, 运行自己的 AI 集群
分布式LLM推理,AI集群安装教程,ubuntu22.04不编译安装python3.12,安装pip3.12,ubuntu安装分布式推理AI集群exo.本地运行分布式LLM推理离线运行exo,安装调试分布式LLM推理AI集群exo,离线运行AI集群,安装调试AI集群exo;Nomodulenamed
【hadoop源码研究-编译】MacBook pro编译hadoop3.4.0版本的源码
使用mac电脑编译hadoop3.4.0版本的源码
使用Redis解决WebSocket分布式场景下的Session共享问题
StandardManager是Tomcat默认使用的，在web应用程序关闭时，对内存中的所有HttpSession对象进行持久化，把他们保存到文件系统中。时，socketsession在第一台服务器线程上，第二次请求，负载到第二台服务器上，需要通过id查找当前用户的session时，是查找不到的。
Kafka 单机和集群环境部署教程
通过以上步骤，我们成功部署了 Kafka 单机和集群环境，并实现了一个简单的生产者和消费者应用。Kafka 提供了高吞吐量、低延迟的消息传递能力，适合用于实时流处理和数据管道。
RabbitMQ应用问题 - 消息顺序性保证、消息积压问题
a）消息顺序性：消费者消费的消息的顺序 和 生产者发送消息的顺序是一致的.例如 生产者 发送消息顺序是 msg1、msg2、msg3，那么消费者也需要按照 msg1、msg2、msg3 的顺序进行消费.b）顺序不一致可能会导致哪些问题？消息1：修改 用户318 的昵称为 “白天”.消息2：修改 用户
大数据-58 Kafka 高级特性 消息发送02-自定义序列化器、自定义分区器
上节我们完成了Kafka的高级特性中的，消息发送-基本流程、原理剖析的部分。本节我们研究Kafka高级特性，消息发送-自定义序列化器、自定义分区器的Java实现。
大数据-60 Kafka 高级特性 消息消费01-消费组图例 心跳机制图例
上节完成Kafka拦截器、自定义拦截器，Kafka原理剖析图。本节进入消费者的消费组、消费者的心跳机制。多个消费者可以加入到一个消费组中，共享 group_id， group_id 一般设置为应用的逻辑名称。一个拥有四个分区的主题，包含一个消费者的消费组。如果消费组有2个，则每个消费者分别从两个分区
Hadoop集群部署（单机、伪分布式、完全分布式）
选择IPV4---修改IP地址（Address）为192.168.200.129---修改子网掩码（Network）为255.255.255.0---修改网关（Gateway）为192.168.200.1---点击Apply应用生效。如果是完全分布式的多台虚拟机之间的配置，参照2 SSH实现免密远程
RabbitMQ高级特性 - 消费者消息确认机制
为了保证消息从 队列 到 消费者正确消费，那么就引入了消费者消息确认机制.a）消费者在订阅队列时，可以指定 autoAck 参数，根据这个参数设置，消息确认机制分为以下两种（以下讲到的方法和参数来自于 RabbitMQ 原生的 SDK，非 Spring 提供）.自动确认：当 autoAck = tr
安装配置Kafka，并使用Java集成Kafka
Kafka 是Java 语言编写的，因此需要在安装 Kafka 之前先安装 Java 运行环境。Kafka 支持 Java 8 及以上版本。可以通过以下命令检查 Java 运行环境的版本Kafka 的运⾏环境依赖于 ZooKeeper，Kafka 使用 ZooKeeper 进行分布式协调，因此在安装
RabbitMQ 集群部署方案
配置 RabbitMQ 集群方案
【Elasticsearch】Elasticsearch集群在分布式环境下的管理
Elasticsearch是一种高度可扩展的开源搜索引擎，可以在大规模分布式环境中处理和存储海量数据。随着数据量的增长，单节点的Elasticsearch难以满足业务需求，因而集群部署成为必要。在分布式环境下管理Elasticsearch集群，不仅需要掌握基础的集群配置和管理操作，还要了解如何应对复
Zookeeper 集群节点故障剔除、切换、恢复原理
在 Zookeeper 集群中，通过心跳机制检测和剔除故障节点，通过 ZAB 协议进行领导节点选举和数据同步，确保集群在节点故障时仍能保持高可用性和一致性。领导节点故障时，通过快速选举新领导节点和数据同步机制，集群能够迅速恢复并继续提供服务。通过会话迁移、请求排队、幂等性保证和事务日志同步等机制，Z
【Spark集群部署系列二】Spark StandAlone模式介绍和搭建以及使用
【Spark集群部署系列一】Spark local模式介绍和搭建以及使用（内含Linux安装Anaconda)http://t.csdnimg.cn/0xmky 在部署spark集群前，请部署好Hadoop集群，jdk8【当然Hadoop集群需要运行在jdk上】，需要注意hadoop，spark的版
Day03-Hadoop概述-浅浅入门一下
处理完毕后，各个部分的结果会被汇总（Shuffle阶段），最后再进行整合（Reduce阶段），形成最终的产品（分析结果），这个过程非常适合处理大规模数据，因为它可以显著提高效率，减少浪费。每个工人将数据转换为一系列中间键值对，这些键值对应着数据的特征及其关联信息。YARN就像是一个大型的数据工厂的主
