kafka晋升之路-理论+场景
本文讲解了kafka的基本概念、常见问题、通过此篇文章,相信你对kafka已经有了一定的了解,赶紧实验起来吧。
RabbitMQ的使用
1、大多应用中,可通过消息服务中间件来提升系统异步通信、扩展解耦能力消息代理(message broker)和目的地当消息发送者发送消息以后,将由消息代理接管,消息代理保证消息传递到指定目的地。3、消息队列主要有两种形式的目的地队列(queue):点对点消息通信(point-to-point)主题(
基于Hadoop的学生校园网行为分析
🙌😂oi退役选手,Java、大数据、单片机、IoT均有所涉猎,热爱技术,技术无罪获取源码,添加WX。
【xxl-job】分布式任务调度系统xxl-job搭建
XXL-JOB是一个轻量级分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展、开箱即用。
rabbitmq如何保证消息的可靠性传输(简述版本)?
我需要从三点去考虑,
Kafka系列——生产者,向Kafka写入数据以及参数配置
学习如何使用 Kafka 生产者,如何创建 KafkaProducer 和 ProducerRecords 对象、如何将记录发送给 Kafka,以及如何处理Kafka 返回的错误。里面会深入介绍一些重要参数比如,acks,Message Delivery Time,max.request.size,
【rabbitmq】出现问题Channel error on connection
[error] Channel error on connection (vhost: '/', user: 'guest'), channel 1:[error] operation basic.publish caused a channel exception not_found: no
kafka-- 安装kafka manager及简单使用
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传。
kafka 集群搭建 & 常用命令
3> 将安装好的kafka 分发到其他服务器。 将kafka 压缩包解压到某一目录。scp /etc/profile 服务器。配置KAFKA_HOME环境变量。将profile分发到各节点。 修改节点配置文件。查看是否搭建成功。
深入了解 RabbitMQ:高性能消息中间件
RabbitMQ 是一个开源的高性能、可扩展、消息中间件(Message Broker),实现了 Advanced Message Queuing Protocol(AMQP)协议,可以帮助不同应用程序之间进行通信和数据交换。RabbitMQ 是由 Erlang 开发的,支持多种编程语言,包括 Ja
Zookeeper入门介绍
Zookeeper 是一个开源的分布式的,为分布式框架提供协调服务的 Apache 项目。(上述是比较官方的答案,而我的理解是zookeeper相当于酒店的前台,有信息存储功能和通知功能,好比住房客人的信息的存储是在前台,当你酒店时间快到的时候会提醒你,也是前台的工作)zookeeper=文件系统+
RabbitMQ深入 —— 死信队列
前面荔枝梳理了RabbitMQ中的普通队列、交换机以及相关的知识,在这篇文章中荔枝将会梳理RabbitMQ的一个重要的队列 —— 死信队列,主要了解消息流转到死信队列的三种的方式以及相应的实现demo。希望能帮助到有需要的小伙伴~~~
【分布式云储存】高性能云存储MinIO简介与Docker部署集群
MinIO 提供高性能、与S3 兼容的对象存储系统,让你自己能够构建自己的私有云储存服务。MinIO原生支持 Kubernetes,它可用于每个独立的公共云、每个 Kubernetes 发行版、私有云和边缘的对象存储套件。MinIO是软件定义的,不需要购买其他任何硬件,在 GNU AGPL v3 下
上手第一关,手把手教你安装kafka与可视化工具kafka-eagle
在本篇技术博文中,我们详细地教你如何安装kafka,还有它的可视化工具,中间也列举了一些异常以及它的处理方式,真正做到了手把手教学。那么安装教学就告一段落。在后面的学习中,我们将讲解他们的使用及运行原理,希望同学们能喜欢。
RabbitMQ 的快速使用
【代码】RabbitMQ 的快速使用。
Rabbitmq消息不丢失
有时,业务处理成功,消息也发了,但是我们并不知道消息是否成功到达了rabbitmq,如果由于网络等原因导致业务成功而消息发送失败,那么发送方将出现不一致的问题,此时可以使用rabbitmq的发送确认功能,即要求rabbitmq显式告知我们消息是否已成功发送。有时,消息被正确投递到消费方,但是消费方处
Kafka:springboot集成kafka收发消息
4、component中实现接收类HelloListener。思路:在传递消息时,将对象转为json字符串,在接收时再解析。1、springboot中引入kafka依赖。3、controller实现消息发送接口。2、配置application.yml。1、controller实现发送。2、compo
探索数据湖中的巨兽:Apache Hive分布式SQL计算平台浅度剖析!
对数据进行统计分析,SQL是目前最为方便的编程工具大数据体系中充斥着非常多的统计分析场景,所以,使用SQL去处理数据,在大数据中也是有极大的需求的MapReduce支持程序开发(Java、Python等),但不支持SQL开发Apache Hive是一款分布式SQL计算的工具将SQL语句 翻译成Map
kafka详解二
同一个topic下有多个不同的partition,每个partition为一个目录,partition命名的规则是topic的名称加上一个序号,序号从0开始。每一个partition目录下的文件被平均切割成大小相等(默认一个文件是1G,可以手动去设置)的数据文件,每一个数据文件都被称为一个段(seg
Zookeeper与Kafka
Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。(1)由于在高并发环境下,同步请求来不及处理,请求往往会发生阻塞。比如大量的请求并发访问数据库,导致行锁表锁,最后请求线程会堆积过多,从而触发 too many connection 错误,引发雪崩效应。(2)我们使