谨慎Apache-Zookeeper-3.5.5以后在CentOS7.X安装的坑
本文主要讲解在Centos7中，JDK正确安装及配置，系统防火墙也正常配置，但Zookeeper无法启动的一种可能问题及解决办法
Spark内核
任务的最小单位是线程。失败重试，会记录失败的次数，如果超过最大重试次数，宣告Application失败。失败的同时会记录它上一次所在的ExecutorID和Host, 最多重试4次。落盘的话就需要考虑不同分区之间的数据如何存放的问题。假设每个Executor有两个Task，总共有三个分区。特点：无论
头歌实践平台：ZooKeeper之节点基本操作（一）、（二）--内有代码直接复制粘贴过关
ZooKeeper之节点基本操作（一）第一关zkServer.sh startzkCli.sh -server 127.0.0.1:2181create -e /enode ""create /spnode ""quit第二关zkServer.sh start zkCli.sh -server 12
Win10 环境下 spark 本地环境的搭建
此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>Path==>新建。此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>Path==>新建。此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>Path==>新建。下载 jdk
图解Spark Graphx基于connectedComponents函数实现连通图底层原理
图解Spark Graphx基于connectedComponents函数实现连通图底层原理
spring-boot对rabbitMQ的操作
1、简单的来理解，就是在上面简单模式下增加几个消费者，如同搬砖一样的，一个搬运工搬不过来，多叫几个人来干活的性质，避免消息堆积。2、生产者代码,运行下面的代码,查看可视化界面,并不存在消息,原因是因为需要手动创建。5、查看可视化界面，进入死信队列的是时间最早的(也就是最先发送的)1、使用配置文件的方
rabbitmq异常处理问题集
rabbitmq权限问题
Rabbitmq 的管理配置
每一个RabbitMQ 服务器都能创建虚拟的消息服务器，我们称之为虚拟主机(virtual host) ,简称为vhost 。每一个vhost 本质上是一个独立的小型RabbitMQ 服务器，拥有自己独立的队列、交换器及绑定关系等，井且它拥有自己独立的权限。vhost 就像是虚拟机与物理服务器一样，
ZooKeeper
随着项目的逐渐变大，整个开发流程的时间也会变得很长，即使在仅仅更改了一行代码的情况下，软件开发人员需要花费几十分钟甚至超过一个小时的时间对所有代码进行编译，并接下来花费大量的时间重新部署刚刚生成的产品，以验证自己的更改是否正确。项目变得越来越大的同时，我们的应用所使用的技术也会变得越来越多。服务和服
Hadoop相关知识点
hdfs dfs -put ~/input/file.txt /test 和 hdfs dfs -put /input/file.txt /test 的区别在于文件的来源路径。B. 维护HDFS集群的所有数据块的分布、副本数和负载均衡：NameNode记录每个数据块的位置和副本信息，并负责管理数据块
CAP定理下：Zookeeper、Eureka、Nacos简单分析
在CAP定理下简单分析Zookeeper、Nacos、Eureka
rabbitmq和rocketmq区别
开发语言和生态： RabbitMQ基于Erlang开发，采用AMQP协议，支持多种编程语言，比如Java、Python、Ruby等；高可用性： RabbitMQ具有较高的可用性和可靠性，支持主从模式、镜像队列等多种高可用部署方式。RocketMQ也支持主从模式和多副本同步复制，但是在某些情况下可能会
kafka的 ack 应答机制
replica） 就是 Kafka 为某个分区维护的一组同步集合，即每个分区都有自己的一个 ISR 集合，处于 ISR 集合中的副本，意味着 follower 副本与 leader 副本保持同步状态，只有处于 ISR 集合中的副本才有资格被选举为 leader。partition的leader落盘成
RabbitMQ避免消息积压和消费者阻塞
通过生产者限流、消费者多线程、异步处理消息和超时处理等方法，我们可以避免RabbitMQ中消息的积压和消费者的阻塞。生产者限流可以控制消息的发送速度；消费者多线程可以提高消息处理的并发性能；异步处理消息可以避免消费者在处理消息时发生阻塞；超时处理可以避免消费者因为某个消息的处理时间过长而导致阻塞。本
IDEA2022 配置spark开发环境
在本文中，我们讨论了如何在Windows上配置Spark开发环境，并介绍了如何使用Pyspark或进行开发和测试。此外，我们还讨论了如何使用集成开发环境（IDE）和扩展你的Spark开发环境。最后，我们提醒你时刻注意更新你的环境和依赖库，以保持最新的功能和性能优化。如果你正在学习Spark开发，希望
一篇文章带你从入门都入土 Kafka 消息中间件（原理+代码）
Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。Kafka最新定义Kafka是 一个开源的分布式事件流平台 （Event Streaming Platform），被数千家公司用于高性能数据管道、流分析、数据集成和关
一文看懂Spark中Cache和CheckPoint的区别
缓存是将数据保存在主机磁盘/内存中,如果服务器宕机数据丢失,需要重新根据依赖关系计算得到数据,需要花费大量时间,所以需要将数据保存在可靠的存储介质HDFS中,避免后续数据丢失重新计算。看下面代码会打印多少条-------------------------(RDD2) 使用了CheckPoint。看
Zookeeper
第一个目录是linux的目录，第二个目录是docker的目录。--name 给容器命名。
rabbitMq(路由模式)
idea实现路由模式//发布消息@Test//mq 建立连接// 创建管道// 管道/*** 发布订阅的时候* 交换机->direct* routingkey是一个具体的值* 队列*/// 创建交换机// 创建交换机// 交换机绑定队列//// 发布消息。
kafka3.X集群安装(不使用zookeeper)
kafka3.X集群安装(不使用zookeeper)
