RabbitMQ的基本用法
路由模式的消息队列可以给队列绑定不同的key，生产者发送消息时，给消息设置不同的key，这样交换机在分发消息时，可以让消息路由到key匹配的队列中。上面案例中有一个问题：消费者处理消息的速度是不一样的，消费者1处理后睡眠10毫秒（Thread.sleep(10)），消费者2是1000毫秒，速度相差1
Kafka 生产调优
100 万日活，每人每天 100 条日志，每天总共的日志条数是 100 万 * 100 条 = 1 亿条。1 亿 / 24 小时 / 60 分 / 60 秒 = 1150 条/每秒钟。每条日志大小：0.5k ~ 2k（约1k）。1150 条/每秒钟 * 1k ≈ 1m/s。高峰期每秒钟：1150 条
黄东旭：“向量数据库”还是“向量搜索插件 + SQL 数据库”？丨我对 2024 年数据库发展趋势的思考
如果数据访问倾斜是一个业务的天然属性的话，对等的假设就不再是合理的，更合理的方式是将更好的硬件资源倾斜给热点的数据，而冷数据库使用更廉价的存储，例如，TiDB 从一开始将存储节点（TiKV）/ 计算节点（TiDB）/ 元信息（PD）分离，以及在后来 TiDB 5.0 中引入自定义 Placement
从kafka如何保证数据一致性看通常数据一致性设计
在数据库系统中有个概念叫事务，事务的作用是为了保证数据的一致性，意思是要么数据成功，要么数据失败，不存在数据操作了一半的情况，这就是数据的一致性。在很多系统或者组件中，很多场景都需要保证数据的一致性，有的是高度的一致性。特别是在交易系统等这样场景。有些组件的数据不一定需要高度保证数据的一致性，比如日
Spark任务信息记录器的变更
Spark任务信息记录器的变更
RabbitMQ(保姆级教程)
为了交换机命名避免冲突，通过虚拟主机进行隔离。
RabbitMQ(二)
创建的时候选好自己要的版本(我这里选的是JDK17,用的是IDEA2023.3.1版本,为了赶紧给大家制作出来,就没有去换低版本使用JDK8了,2023.3.1还没找到在哪配8的版本)设置队列中的所有消息的生存周期(统一为整个队列的所有消息设置生命周期), 也可以在发布消息的时候单独为某个消息指定剩
Zookeeper的分布式通信与协调
1.背景介绍Zookeeper是一个开源的分布式应用程序，它为分布式应用程序提供一致性、可靠性和原子性的分布式协调服务。Zookeeper的核心功能包括：数据持久化、监听器机制、原子性更新、集群管理、分布式同步等。Zookeeper的设计思想是基于Chubby的分布式文件系统，但是Zookeeper
Spark Local环境部署
功能功能提供一个python提供一个scala提交java\scala\python代码到spark中运行解释器环境用来以python代码执行spark程序提供一个python解释器环境用来以scala代码执行spark程序提供一个scala提供一个scala特点解释器环境 写一行执行一行解释器环境
消息队列RabbitMQ-使用过程中面临的问题与解决思路
这种机制给每一个消息指定了唯一的ID，消息从生产者到交换机、从交换机到队列中的阶段都会返回一个结果，消息从生产者到交换机会通过返回一个布尔值来反馈消息是否送到了交换机，即发送者确认publisher-confirm。，默认的是直接丢弃消息，也可以设置将其失败后重新入队（不建议，没意义），推荐的是将失
大数据开发之Spark（累加器、广播变量、Top10热门品类实战）
累加器：分布式共享只写变量。（executor和executor之间不能读数据）累加器用来把executor端变量信息聚合到driver端。在driver中定义的一个变量，在executor端的每个task都会得到这个变量的一份新的副本，每个task更新这些副本的值后，传回driver端进行合并计算
Kafka运维相关知识
Consumer 端还有一个参数，用于控制 Consumer 实际消费能力对 Rebalance 的影响，即 max.poll.interval.ms 参数，默认5min，Consumer 端应用程序两次调用 poll 方法的最大时间间隔，表示你的 Consumer 程序如果在 5 分钟之内无法消费
zookeeper和dubbo入门教程
当/lock节点被删除之后,zookeeper服务器再次通知所有监听了/Exclusive_Locks子节点变化的客户端,客户端收到通知后,再次发起创建/lock节点的操作来获得排他锁。/dubbo/com.zyl.provider.service.IProviderService/provider
分布式版本控制工具—Git
在 Git 文件系统中，使用一个 40 位的 SHA-1 值作为一个文件或目录存储内容时所占用的一个 Object 文件的唯一标识符，最终在 .git/objects/ 目录下进行匹配查找，其中前 2 位 SHA-1 值作为存储子目录，后 38 位 SHA-1 值作为文件名。注意，当我们执行 git
消息中间件：Puslar、Kafka、RabbigMQ、ActiveMQ
消息队列：它主要用来暂存生产者生产的消息，供后续其他消费者来消费。
Kafka 集群如何实现数据同步？
如果 follower 发现自己的 LEO（Log End Offset，日志结束偏移量）与 Leader 的 LEO 有差距时，会触发同步数据请求，以便将自身日志同步至 Leader 的对应位置，确保与 Leader 的数据保持一致。当一个副本被选举成为 follower 后，会启动副本的 fet
深入了解Zookeeper的数据持久化与备份
1.背景介绍在分布式系统中，Zookeeper是一个非常重要的组件，它提供了一种高效的数据同步和协调服务。在实际应用中，Zookeeper需要保证数据的持久化和备份，以确保系统的可靠性和高可用性。在本文中，我们将深入了解Zookeeper的数据持久化与备份，揭示其核心概念、算法原理、最佳实践以及实际
Zookeeper实现服务注册/发现
what that?Zookeeper在分布式开发中使用频繁,但许多框架都对其进行了封装,初学者可能无法较好的理解其工作原理,该文章演示了使用Zookeeper实现服务注册,服务发现的简单demo,希望能达到抛砖引玉的效果;why need RegisterCenter?之所以需要访问注册和服务发现
KAFKA监控方法以及核心指标
探讨kafka的监控数据采集方式以及需要关注的核心指标，便于日常生产进行监控和巡检。
Zookeeper基础概念与架构
1.背景介绍1. 背景介绍Apache Zookeeper 是一个开源的分布式协调服务，用于构建分布式应用程序。它提供了一组原子性的基本服务，例如配置管理、命名服务、同步服务和分布式同步。Zookeeper 的设计目标是简单、快速、可靠和高性能。它可以在多个节点之间实现一致性，并在分布式系统中协调节
