RabbitMQ特性介绍和使用案例
RabbitMQ特性介绍和使用案例
kafka @KafkaListener 动态接收topic
这里用到了获取配置文件的信息因为@value跟@Bean在同一个文件里会先执行@value。但是某些业务场景 kafka定义的topic会不同这时候就需要传入变量才可以实现。@KafkaListener 里边的 topics 必须是常量,不可以是变量。这里是获取topic 其实可以在对应的@Bean
RabbitMQ从原理到实战—基于Golang【万字详解】
最近秋招开始找工作,顺便回顾消息队列并且总结。
dubbo-admin 因连接ZooKeeper超时启动失败问题
尝试本地运行 dubbo-admin 项目,项目的后端部分是一个纯SpringBoot工程,按理说只需要配置一下我的注册中心的地址就可以在本地运行。但是每次运行都会报错。
【新书推荐】大模型赛道如何实现华丽的弯道超车 —— 《分布式统一大数据虚拟文件系统 Alluxio原理、技术与实践》
Alluxio作为一款强大的分布式统一大数据虚拟文件系统,已经在众多领域展现出了其卓越的应用价值,并且为AI/ML训练赋能提供了一个全新的解决方案。
Kafka设计原理详解
Kafka设计原理详解
zookeeper常用命令
zookeeper常用命令
RabbitMQ的可视化管理页面简介
RabbitMQ的可视化管理界面的介绍
RabbitMQ笔记-RabbitMQ基本术语
RabbitMQ就是AMQP协议的Erlang实现,RabbitMQ是AMQP协议的erlang实现,AMQP的模型架构也是:生产者将消息发送给交换器,交换器和队列绑定,当生产者发送消息时所携带的RoutingKey与绑定时的BindingKey相匹配时,消息被存入相应队列中,消费者可以订阅相应的队
Kafka在linux中的安装
本篇讲解以下kafka集群的搭建,这里搭建了两种Kafka集群,一种是使用ZK的传统集群,一种是不需要ZK的实验版集群,后期Kafka将会废弃ZK,但是现阶段还是推荐使用带有ZK的,因为不需要ZK的还处于实验性质Kafka的共识机制KRaft,仍然处于预览机制。未来KRaft将作为Apache Ka
kafka—offset偏移量
1.offset基本概念2.offset的提交3.消费者优化
【Kafka】Kafka架构设计之组件详解
Meta(元信息)broker :servertopic:queue组,partition:queue,默认1:1,可以1:多,每个partition对应一个磁盘中的文件为什么要设计topic和partition,1:多的关系?kafka的设计上broker会存在消息积压,最终msg会落地到磁盘文件
华为云云耀云服务器L实例评测|伪分布式环境下部署hadoop2.10.1
云耀云服务器L实例是新一代的轻量应用云服务器,专门为中小企业和开发者打造,提供开箱即用的便利性。云耀云服务器L实例提供丰富且经过严格挑选的应用镜像,可以一键部署应用,极大地简化了客户在云端构建电商网站、Web应用、小程序、学习环境以及各类开发测试等任务的过程。Hadoop是一个开源的分布式计算框
大模型赛道如何实现华丽的弯道超车【赠书活动|第十期《分布式统一大数据虚拟文件系统 Alluxio原理、技术与实践》】
在人工智能(AI)和机器学习(ML)领域,数据驱动的决策和模型训练已成为现代应用和研究的核心。伴随大模型技术迅猛发展,模型训练所需数据的规模不断扩大,数据的处理、存储和传输都面临着巨大的挑战,传统的存储和处理方式已经无法满足实时性和性能需求。同时,不同计算框架之间的数据孤岛问题也制约了数据的有效利用
解决WARNING: /opt/hadoop-3.1.1/logs does not exist. Creating.
解决WARNING: /opt/hadoop-3.1.1/logs does not exist. Creating.
kafka connect
Kafka Connect 是一款可扩展并且可靠地在 Apache Kafka 和其他系统之间进行数据传输的工具。可以很简单的定义 connectors(连接器) 将大量数据迁入、迁出Kafka。例如我现在想要把数据从MySQL迁移到ElasticSearch,为了保证高效和数据不会丢失,我们选择M
解决Hadoop完全分布式集群中从节点jps没有datanode节点问题
也是进入这个目录,只不过namenode中的name文件在datanode是变为了data文件,即/tmp/dfs/data/current。当用start-dfs.sh和start-yarn.sh后,在slave节点(从节点)中用jps命令查看进程。有时候可能发现没有Datanode,即只有两项(
windows下kafka安装
解压后进入config 修改server.properties 为log.dirs=./logs。下载完解压,进入conf cp zoo_sample.cfg zoo.cfg。一:需要安装jdk环境,此处就省略安装步骤了。打开命令行运行 zkserver 启动。打开命令行进入kafka根目录运行
基于Zookeeper实现分布式锁
在Zookeeper中的指定路径下创建创建节点,然后客户端根据当前路径下的节点状态来判断是否加锁成功,如下图一种情况为例,线程1创建节点成功后,线程2再去创建节点就会创建失败。(3)如果加锁次数等于0,则释放锁,删除掉创建的临时节点,下一个监听这个节点的客户端会感知到节点删除事件,从而重新去获取锁。
大数据篇Kafka消息队列指定Topic打印Key、Value、Offset和Partition
大数据篇Kafka消息队列指定Topic打印Key、Value、Offset和Partition