Zookeeper是什么:深入分析分布式系统的协调者
Apache Zookeeper是一个开源的分布式协调服务,提供计算机集群统一的同步、运行和数据一致性管理方式。它是由Apache项目管理的一部分,支持同步存储数据,提供给计算节点或应用系统使用。Zookeeper最初由Yahoo设计和开发,目的是为分布式系统提供一种高可靠的方法来管理配置信息。Zo
rabbitMq双节点高可用集群安装(亲测可用)
样例配置文件下载地址:https://github.com/rabbitmq/rabbitmq-server/blob/master/deps/rabbit/docs/rabbitmq.conf.example。rababitmq包下载地址:https://packagecloud.io/rabbi
Spark的集群环境部署
分享了spark的两个集群模式的配置方法
Spark-环境启动
从start-all.sh开始捋,一直捋到Master、Worker的启动并建立通信。
(五)Spark大数据开发实战:灵活运用PySpark常用DataFrame API
Spark大数据开发实战:灵活运用PySpark常用DataFrame API。本文数据来自采集豆瓣网分类排行榜 (“https://movie.douban.com/chart”)中各分类类别所有电影的相关信息并存储为csv文件。
RabbitMQ如何防止消息丢失及重复消费
解释:RabbitMQ可以开启 confirm 模式,在生产者那里设置开启 confirm 模式之后,生产者每次写的消息都会分配一个唯一的 id,如果消息成功写入 RabbitMQ 中,RabbitMQ 会给生产者回传一个 ack 消息,告诉你说这个消息 ok 了。消息丢失之后的处理:消息自动重新入
Linux的Spark 环境部署
4.创建软连接 命令: ln -s /export/server/spark-3.5.3-bin-hadoop3 /export/server/spark。命令 scp -r /export/server/spark-3.5.3-bin-hadoop3 wtk1:/export/server/
rabbitmq如何保证消息顺序消费
通过以上措施,可以在RabbitMQ中有效地保证消息的顺序消费。
RabbitMQ实现消息可靠性的三种方法(发送者可靠性,MQ可靠性,消费者可靠性)
rabbitmq实现业务可靠性的一般方法
RabbitMQ 高级特性——死信队列
其中,死信队列(Dead Letter Queue,简称DLQ)是一个非常重要的特性,它用于处理那些由于某些原因无法被正常消费的消息,确保消息不会丢失,并提供了后续处理这些异常消息的机会。当消息被标记为死信后,如果配置了死信队列,RabbitMQ会将该消息发送到死信交换机(Dead Letter E
ZooKeeper的配置与安装
ZooKeeper(动物园管理员)是一个分布式的、开源的分布式应用程序的协调服务框架,简称zk。ZooKeeper是Apache Hadoop 项目下的一个子项目,是一个树形目录服务。
kafka
Kafka 通过 ACK 机制、ISR 副本同步、持久化存储、Leader 选举、幂等性、事务性支持以及消费者的 offset 管理等多个机制共同确保了消息在生产、传输、存储和消费各个环节的可靠性。这些设计让 Kafka 能够在分布式环境中提供高可用、高可靠的消息传输服务。
大数据之——Window电脑本地配置hadoop系统(100%包避坑!!方便日常测试,不用再去虚拟机那么麻烦)
之前我们的hadoop不管是伪分布式还是分布式,都是配置在虚拟机上,我们有的时候想要运行一些mapreduce、hdfs的操作,又要把文件移到虚拟机,又要上传hdfs,麻烦得要死,那么有的时候我们写的一些java、python的hadoop代码,我们只想在本地运行一下看看有没有问题、会是一个什么结果
TCC详解及存在哪些问题
是除可靠消息队列以外的另一种常见的分布式事务机制,它是由数据库专家帕特 · 赫兰德()在2007年撰写的论文《Life beyond Distributed Transactions: An Apostate’s Opinion》中提出的。正式以作为名称的是Atomikos公司,其注册了TCC商标。
3.Hadoop环境搭建之Hadoop的安装和配置
创建目录name:mkdir /home/hadoop/hadoop-2.7.4/hdfs/name。创建目录data:mkdir /home/hadoop/hadoop-2.7.4/hdfs/data。到指定目录:cd /home/hadoop/hadoop-2.7.4/etc/hadoop。到指
kafka单条消息过大发送失败
在使用Apache Kafka时,如果单条消息过大,可能会导致发送失败。:Kafka的broker配置中,参数定义了broker能接受的最大消息大小(默认是1MB)。如果消息大小超过了这个值,broker会拒绝接受这个消息。:Producer的参数(默认与相同)定义了Producer发送给broke
RabbitMQ的原理和集成使用
Bean@Bean@BeanRabbitMQ 作为消息队列系统,在微服务系统中能很好地实现异步处理、负载均衡和解耦。通过与 Spring Boot 集成,可以轻松地使用 RabbitMQ 的基本功能和高级特性,适用于消息通知、任务调度等场景。
Hadoop中的元数据膨胀问题是什么,如何应对?
在Hadoop中,元数据膨胀(Metadata Bloat)是指由于大量的文件或目录存在于Hadoop分布式文件系统(HDFS)中,导致NameNode上的元数据信息急剧增加,从而影响NameNode的性能和稳定性。这一问题通常发生在HDFS中有大量小文件或者频繁创建和删除文件的情况下。
入门 | Kafka数据使用vector消费到Loki中使用grafana展示
Loki 是由 Grafana Labs 开发的一款水平可扩展、高性价比的日志聚合系统。它的设计初衷是为了有效地处理和存储大量的日志数据,与 Grafana 生态系统紧密集成,方便用户在 Grafana 中对日志进行查询和可视化操作。(Agents):负责收集日志并将其发送到 Loki 服务器。这些
zookeeper
openEuler 安装 zookeeper集群