RabbitMQ 笔记一
2007年，Rabbit技术公司 基于AMQP标准开发 Rabbit MQ1.0使用Erlang语言（一种专门为高并发、分布式系统开发的语言|电信领域使用广泛）P：生产者，也就是要发送消息的程序。C: 消费者，消息的接收者，监听队列等待消息到来。Queue: 消息队列，类似邮箱，可以缓存消息，生
RabbitMQ的Windows版安装教程
曾经写过一篇关于RabbitMQ的Ubuntu安装教程（），当时使用的是Docker将RabbitMQ安装到虚拟机上，但是有很多小伙伴问Windows上如何进行安装RabbitMQ，以及如何简单使用RabbitMQ，所以这期就来简单讲解一下RabbitMQ的Windows安装教程。以上就是Rabbi
五分钟带你了解spark | 从入门到入土
公主，王子请看spark基础总结spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
RabbitMQ进阶学习
每个只能配置一个因此我们可以在配置类中统一设置。@[email protected]("触发return callback,");});由于每个消息发送时的处理逻辑不一定相同，因此ConfirmCallback需要在每次发消息时定义。具体来说，是在调用RabbitTemplate中的co
Spark: 检查数据倾斜的方法以及解决方法总结
如果预先知道数据分布不均，可以使用自定义分区器来优化数据分布，从而避免数据倾斜。以上方法可以帮助检测和分析Spark作业中可能存在的数据倾斜问题。在发现数据倾斜后，可以采取相应的优化措施，比如调整并行度、使用广播变量、重新设计数据分区策略等，来减轻或解决数据倾斜的问题。
大数据之spark
Apache Spark™是一个多语言引擎，用于在单节点机器或集群上执行数据工程、数据科学和机器学习。Spark最初由美国加州大学伯克利分校的。
kafka三节点集群2.8.0平滑升级到3.4.0过程指导
Apache Kafka作为常用的开源分布式流媒体平台，多用于作为消息队列获取实时数据，构建对数据流的变化进行实时反应的应用程序，已被数千家公司用于高性能数据管道、流分析、数据集成和任务关键型应用程序。
【Zookeeper】ZooKeeper的一些重要功能和作用
随着分布式系统的普及和应用场景的不断增加，构建可靠、高效的分布式系统变得愈发重要。然而，分布式环境下的协调与管理面临着诸多挑战，例如数据一致性、节点故障处理等。在这样的背景下，ZooKeeper应运而生，作为一种可靠的分布式协调服务，为开发者提供了强大的工具和机制，帮助构建高性能、高可靠性的分布式系
干货丨“看过这篇文章的人都学会Spark了”
Spark是一个用于大规模数据处理的统一计算引擎。Spark是一种快速、通用、可扩展的大数据分析引擎。注意：Spark不仅仅可以做类似于MapReduce的离线数据计算，还可以做实时数据计算，并且它还可以实现类似于Hive的SQL计算，等等，所以说它是一个统一的计算引擎。
hadoop安装的过程中的报错/libhadoop.so.1.0.0
遇到如下错误：14/10/29 16:49:01 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applic
行业应用: Spark在各行业中的应用与案例
1.背景介绍Spark是一个开源的大数据处理框架，它可以处理大量数据并提供高性能、高可扩展性和高可靠性的数据处理能力。Spark已经被广泛应用于各个行业，包括金融、电商、医疗、制造业等。在这篇文章中，我们将讨论Spark在各个行业中的应用和案例。1.1 Spark的优势Spark的优势在于其高性能、
每天十分钟学会Spark
小白学大数据Spark编程第1课
Zookeeper与ApacheCassandra的集成与应用
1.背景介绍1. 背景介绍Apache Zookeeper 和 Apache Cassandra 都是分布式系统中的关键组件，它们各自具有独特的优势和应用场景。Zookeeper 是一个分布式协调服务，用于管理分布式应用的配置、服务发现、集群管理等功能；Cassandra 是一个高性能、分布式的No
RabbitMQ 面试八股题整理
RabbitMQ是一个由Erlang开发的，在AMQP(高级消息队列协议)基础上完成的消息队列。消息队列用于应用间的异步协作最大的特点就是消费并不需要确保提供方存在，实现了服务之间的高度解耦。
大数据开发-Hadoop伪集群搭建
Hadoop环境搭建，虚拟机环境配置
Spark Bloom Filter Join
Bloom Filter Join，或者说Row-level Runtime Filtering（还额外有一条Semi-Join分支），是Spark 3.3对运行时过滤的一个最新补充之前运行时过滤主要有两个：动态分区裁剪DPP（开源实现）、动态文件裁剪DFP（Databricks实现），两者都能有效
深入了解Kafka的文件存储原理
Kafka最初由Linkedin公司开发的分布式、分区的、多副本的、多订阅者的消息系统。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存是根据Topic进行归类，发送消息者称为Producer；消息接受者称为Consumer；此外kafka集群
【Hadoop】Yarn 任务管理指令
【代码】【Hadoop】Yarn 任务管理指令。
spark概述
MapReduce：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组spark：Apache Spark
【数仓】kafka软件安装及集群配置
Kafka集群的配置涉及多个方面，包括broker、Zookeeper、producer和consumer的配置。不过，通常我们主要关注的是broker和Zookeeper的配置，因为它们是构成Kafka集群的基础。以上只是Kafka配置的一部分，实际上Kafka的配置项非常多，可以根据具体的需求和
