解决spark数据倾斜
该方案通常无法彻底解决数据倾斜，因为如果出现一些极端情况，比如某个key对应的数据量有100万，那么无论你的task数量增加到多少，这个对应着100万数据的key肯定还是会分配到一个task中去处理，因此注定还是会发生数据倾斜的。将原本相同的key通过附加随机前缀的方式，变成多个不同的key，就可以
大数据技术spark基础
（6）Executor：运行在Spark Worker 上的任务（Task）执行器，Executor启动线程池运行Task，并负责将数据存在内存或磁盘上，每个应用程序都会申请各自的Executor以处理任务。（7)SparkR:SparkR是 AMPLab发布的一个R语言开发包，使得R语言编写的程序
部署Filebeat+Kafka+ELK 集群
主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发 too many connection 错误，引发雪崩效应。我们使用消息队列，通过异步处理请求，从而缓解系统的压力。消息队列常应用于异步处理，流量削峰，
基于 Kyuubi 实现分布式 Flink SQL 网关
本文整理自网易互娱资深开发工程师、Apache Kyuubi Committer 林小铂的《基于 Kyuubi 实现分布式 Flink SQL 网关》分享。
黑马头条-day06-kafka
kafka支持集群部署，broker集群的注册管理和Topic的注册管理需要用到注册中心zookeeper，所以安装kafka之前必须先安装zookeeper。虚拟机内已经安装过这两服务，目前是停机状态，执行启动命令即可。先启动zookeeper在启动kafka生产消息的对象称之为主题生产者，生产者
2024.2.23 模拟实现 RabbitMQ —— 实现消费消息逻辑
引言函数式接口消费者订阅消息 实现思路关于消息确认
分布式一致性软件-zookeeper
在我们进行软件开发过程中，为了实现某个功能可能借助多个软件，如存储数据的数据库软件：MySQL，Redis；消息中间件：rocketMq，kafka等。那么在分布式系统中，如果想实现数据一致性，可以借助哪些软件呢？答：分布式一致性软件。
kafka 简洁安装
参考文档：https://blog.csdn.net/weixin_45480359/article/details/131944221?出现这种问题，是kafka 与 zookeep 没有连接上，我是把 kafka 中的 config/server.properties 文件里的IP地址改成内网地
前端缓存&本地缓存&分布式缓存
常见的缓存有哪些？
Hadoop伪分布式安装配置
Hadoop伪分布式安装配置A、添加hadoop用户 B、配置本地YUM源 C、SSH无密码配置 D、Hadoop安装与配置 E、配置HDFSF、HDFS常用命令参考
[小白学微服务]消息队列RabbitMQ 的安装和基础使用
我们为什么要用消息队列技术？有些复杂的业务系统，一次用户请求可能会同步调用N个系统的接口，需要等待所有的接口都返回了，才能真正的获取执行结果。这样就导致了：1.系统之间耦合性太高，如果调用的任何一个子系统出现异常，整个请求都会异常，对系统的稳定性非常不利2.这种同步接口调用的方式总耗时比较长，非常影
Hadoop云上大数据技术
结构化数据类型是一种用户定义的数据类型，它包含一些非原子的元素，更确切地说，这些数据类型是可以分割的，它们既可以单独使用，又可以在适当情况下作为一个独立的单元使用。属性 是专门用来帮助描述类型实例的特性。非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库
自定义kafka客户端消费topic
使用自定义的KafkaConsumer给spring进行管理，之后在注入topic的set方法中，开单线程主动订阅和读取该topic的消息。
大数据分布式计算工具Spark数据计算实战讲解（map方法，flatmap方法，reducebykey方法）
map算子，是将rdd的数据一条条处理（处理的逻辑基于map算子中接收的处理函数），返回新的rdd。功能：针对kv型rdd，自动按照key分组，然后根据你提供的聚合逻辑，完成组内数据的聚合操作。PySpark的数据计算，都是基于RDD对象来进行的，那么如何进行呢？对于返回值是新RDD的算子，可以通过
rabbitmq源码分析队列结构，详细解说
DI？**看完你能回答上几道？据我所知，如果能回答的出其中的一半，就算是勉强及格了。**如果都答对你都能全部回答出来，那你应该是妥妥的技术大牛了！可以放心去投大厂简历了！这不止是一份面试清单，更是一种”被期望的责任“，因为有无数个待面试者，希望从这篇文章中，找出通往期望公司的”钥匙“，所以上面每道选
SpringCloud-实现基于RabbitMQ的消息队列
本文详细介绍了在Spring Cloud框架中集成RabbitMQ消息队列的步骤。首先，通过添加必要的依赖，配置RabbitMQ连接信息。接着，创建消息生产者和消费者，利用Spring Cloud Stream简化消息绑定过程。生产者负责发送消息到RabbitMQ队列，而消费者通过监听队列接收并处理
RabbitMQ 笔记一
2007年，Rabbit技术公司 基于AMQP标准开发 Rabbit MQ1.0使用Erlang语言（一种专门为高并发、分布式系统开发的语言|电信领域使用广泛）P：生产者，也就是要发送消息的程序。C: 消费者，消息的接收者，监听队列等待消息到来。Queue: 消息队列，类似邮箱，可以缓存消息，生
RabbitMQ的Windows版安装教程
曾经写过一篇关于RabbitMQ的Ubuntu安装教程（），当时使用的是Docker将RabbitMQ安装到虚拟机上，但是有很多小伙伴问Windows上如何进行安装RabbitMQ，以及如何简单使用RabbitMQ，所以这期就来简单讲解一下RabbitMQ的Windows安装教程。以上就是Rabbi
五分钟带你了解spark | 从入门到入土
公主，王子请看spark基础总结spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
RabbitMQ进阶学习
每个只能配置一个因此我们可以在配置类中统一设置。@[email protected]("触发return callback,");});由于每个消息发送时的处理逻辑不一定相同，因此ConfirmCallback需要在每次发消息时定义。具体来说，是在调用RabbitTemplate中的co
