Hadoop学习：深入解析MapReduce的大数据魔力之数据压缩（四）
压缩的优点：以减少磁盘IO、减少磁盘存储空间。压缩的缺点：增加CPU开销。
kafka--技术文档--架构体系
此外，Kafka还有一个非常重要的概念是“Consumer Group”，这是Kafka用来实现一个Topic消息的广播（发给所有的Consumer）和单播（发给任意一个Consumer）的手段。一个Topic可以有多个Consumer Group。
rabbitmq容器启动后修改连接密码
5、退出容器后即可生效，不需要重启容器。2、查看当前用户列表。
MySQL大数据表处理的三种方案，查询效率嘎嘎高
在执行了分库分表之后，难以避免会将原本逻辑关联性很强的数据划分到不同的表、不同的库上，这时，表的关联操作将受到限制，我们无法join位于不同分库的表，也无法join分表粒度不同的表，结果原本一次查询能够完成的业务，可能需要多次查询才能完成。相反地，在某些情况下，添加新数据的过程又可以通过为那些新数据
分布式计算框架：Spark、Dask、Ray
分布式计算是一种计算方法，和集中式计算是相对的。随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。
用AIGC生成大数据教程
文章详细展示了aigc创作大数据教程的全过程，欢迎点赞收藏。这是对我最大的鼓励，谢谢
Kafka 和 MQTT消息中间件在车联网TSP使用浅析
Kafka 和 MQTT 是常用的消息传递协议，它们在车联网TSP中主要用于消息队列和消息发布/订阅服务。
springboot的kafka使用
springboot的kafka使用
RabbitMQ基础介绍及同步通讯及异步通讯
基本消息队列消息发送流程总结建立connection创建channel利用channel声明队列利用channel向队列发送消息基本消息队列消息接收流程总结建立connection创建channel利用channel声明队列定义consumer的消费行为handleDelivery()利用chann
Python爬虫分布式架构 - Redis/RabbitMQ工作流程介绍
在大规模数据采集和处理任务中，使用分布式架构可以提高效率和可扩展性。本文将介绍Python爬虫分布式架构中常用的消息队列工具Redis和RabbitMQ的工作流程，帮助你理解分布式爬虫的原理和应用。
Flink - Java篇
文章目录前言一、概述1 Flink是什么2 架构分层3 数据处理流水线4 运行组件TaskManagerJobManagerResourceManagerDispatcher5 其他流式计算框架二、入门与使用1 Flink基本安装1.1 Linux1.2 Java1.3 Scala（待补充）1.4
Flink SQL Gateway REST Endpoint 使用教程
介绍SQL Gateway 是一种支持远程多个客户机并发执行 SQL 的服务。它提供了一种提交 Flink Job、查找元数据和在线分析数据的简单方法。SQL Gateway 由可插拔 Endpoints 和 SqlGatewayService 组成。SqlGatewayService 是一个被 E
Kafka学习笔记（高级篇）
Kafka学习笔记（高级篇）
map 和 flatMap 的区别
当我们需要将具有层级结构的数据展平时，也就是将多层数据转换为单层数据操作时，我们可以使用 flatMap 方法。如果我们只是简单的对流中的数据计算或者转换时，可以使用 map方法。举例：① 使用 flatMap：[a，b，c，d，[e，f [g，h，i]]] 转换为 [a，b，c，d，e，f，g，h
Apache Kafka - 流式处理
Kafka被广泛认为是一种强大的消息总线，可以可靠地传递事件流，是流式处理系统的理想数据来源。流式处理系统通常是指一种处理实时数据流的计算系统，能够对数据进行实时的处理和分析，并根据需要进行相应的响应和操作。与传统的批处理系统不同，流式处理系统能够在数据到达时立即进行处理，这使得它们特别适合需要实时
【kafka面试题2】如何保证kafka消息的顺序性
【kafka面试题2】如何保证kafka消息的顺序性
Python 3 使用Hadoop 3之MapReduce总结
MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MapReduce分成两个部分：Map（映射）和Reduce（归纳）。
Linux下RabbitMQ
有时候会出现消息生产失败也可能是内存大小问题，默认是至少有200M磁盘空闲，可以通过设置disk_free_limit来修改参数。工作队列（又称：任务队列）的主要思想是避免立即做一个资源密集型的任务，而不得不等待它完成。在手动应答下，当某个消费者在接收消息后出现宕机等突发情况造成消息丢失但由于，这时
RabbitMq创建交换机和队列
RabbitMq创建交换机和队列
基于spring boot框架访问zookeeper
至此，基于spring boot框架访问zookeeper的demo开发以及结束，后面我们尝试通过Dockerfile的方式制作zookeeper的镜像，然后通过docker的。关于zookeeper的安装和验证就写到这里了，接下来我们开始开发应用来访问这个zookeeper节点的数据。可以看到zo
