【二】RabbitMQ基础篇(延迟队列和死信队列实战)
本章将通过学习rabbitMQ基础中的延时队列和死信队列,然后写一个demo实现一个小例子,在商城购物时,先下单创建订单记录,然后可以选择进行立即支付或者不支付,若30秒后不支付,则删除订单。下面针对这个例子进行学习。目录一、分析例子二、编写前端代码三、整理模块四、改造common公共模块五、改造p
Kafka入门
Kafka是一个分布式系统,由通过高性能TCP网络协议进行通信的服务器和客户端组成。它可以部署在本地和云环境的裸机硬件、虚拟机和容器上。服务器:Kafka作为一个或多个服务器的集群运行,可以跨越多个数据中心或云区域。其中一些服务器形成存储层,称为代理。其他服务器运行Kafka Connect以将数据
Kafka原理及应用实践,用心看这篇就够了【重点】
1.1 概述Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据,具有高性能、持久化、多副本备份、横向扩展能力。1.2 基础架构及术语通过上面一张图,可能有的术语还不太清楚,下面我们一个一个的解释:Producer:Producer即生产者,消息的产生者,是
分库分表Sharding
这里写目录标题前言什么是分库分表?使用场景分库分表的复杂性技术选型demo前言笔者学年尚浅,目前接触的项目数据量不是很多,单表数据库最多的表数据量为562w,是一个学校的课程信息表,但是需要关联的表还是挺多的,如学籍表,如用户表等,按目前业务的发展来看,数据的增长量还是较快的。目前的查询效率未到千万
如何保证生产中RabbitMQ的高可用,看本文就够了【重点】
1.1 概述本文来探究一下使用消息队列的热点问题,如何保证消息队列的高可用,本文使用的消息队列是RabbitMQ,后续会出其他热门的MQ教程,敬请期待。1.2 RabbitMQ 的高可用性RabbitMQ基于主从模式实现高可用。RabbitMQ 有三种模式:单机模式、普通集群模式、镜像集群模式。1.
Zookeeper的架构设计及原理分析
1. Zookeeper 设计猜想Zookeeper 作为一个分布式协调组件,很多应用系统都会依赖Zookeeper来实现相关业务的处理。前面我们一直在提到,在分布式架构中任何节点都不能以单点状态存在,所以Zookeeper首先需要解决的是单点故障问题,而常见的解决方案就是做主从集群,这个在前面的很
RabbitMQ详解,用心看完这一篇就够了【重点】
1.1 消息中间件消息中间件是基于队列与消息传递技术,在网络环境中为应用系统提供同步或异步、可靠的消息传输的支撑性软件系统——百度百科1.1.1 应用场景1.1.1.1 异步处理场景说明:用户注册后,需要发注册邮件和注册短信,传统的做法有两种1.串行的方式;2.并行的方式 ;(1)串行方式:将注册信
【Kafka从入门到成神系列 六】Kafka 消费组及重平衡
大家好,我是爱敲代码的小黄,独角兽企业的Java开发工程师,Java领域新星创作者。这是我的系列专栏:Kafka 从入门到成神。如果文章知识点有错误的地方,请指正!和大家一起学习,一起进步。如果感觉博主的文章还不错的话,请三连支持一下博主哦。
Hadoop集群高可用及zookeeper+kafka组件搭建
一.Hadoop集群高可用角色与配置主机名 IP地址 角色服务 hadoop1 192.168.1.50 namenode, resourcemanager, ZKFC hadoop2 192.168.1.56 namenode, resourcemanager, ZKF
基于Curator(zookeeper)实现leader选举
在分布式计算中,leader election是很重要的一个功能,这个选举过程是这样子的:指派一个进程作为组织者,将任务分发给各节点。在任务开始前,哪个节点都不知道谁是leader或者coordinator。当选举算法开始执行后,每个节点最终会得到一个唯一的节点作为任务leader。除此之外,选举还
【Kafka从入门到成神系列 五】Kafka 幂等性及事务
大家好,我是爱敲代码的小黄,独角兽企业的Java开发工程师,Java领域新星创作者。这是我的系列专栏:Kafka 从入门到成神。如果文章知识点有错误的地方,请指正!和大家一起学习,一起进步。如果感觉博主的文章还不错的话,请三连支持一下博主哦。
Spring Cloud Stream的配置及使用——以RabbitMQ为例
Spring Cloud Stream配置及使用,以RabbtiMQ为例
RabbitMQ消息堆积问题
如何解决数百万消息堆积,无法及时消费的问题
zk分布式实现理论,Paxos算法,ZAB协议,CAP定理
zk分布式实现理论,Paxos算法,ZAB协议,CAP定理
Dubbo快速入门
Dubbo一、基础知识1.1 分布式系统定义1.2 应用架构的演变1.2.1 单一应用架构1.2.2 垂直应用架构1.2.3 分布式应用架构1.2.4 流动计算架构1.3 RPC1.3.1 什么是RPC?1.3.2 实例1.4 dubbo简介1.5 Dubbot设计架构1.5.1 调用关系说明1.6
如何用 Redis 实现一个分布式锁
场景模拟一般电子商务网站都会遇到如团购、秒杀、特价之类的活动,而这样的活动有一个共同的特点就是访问量激增、上千甚至上万人抢购一个商品。然而,作为活动商品,库存肯定是很有限的,如何控制库存不让出现超买,以防止造成不必要的损失是众多电子商务网站程序员头疼的问题,这同时也是最基本的问题。在秒杀系统设计中,
【TiDB】快速起步
学习 TiDB 由来、发展与演进,理解 TiDB 5.0 数据库的体系架构、技术创新、关键特性、应用案例与适用场景。
Kafka集群搭建(使用自带zookeeper,多节点)
1-Kafka集群搭建1.安装包解压至相应目录/home/ZX/soft/kafka_2.12-3.0.02.搭建三个节点IP broker.id myid10.103.105.91 1
客快物流大数据项目(六十一):将消费的kafka数据同步到Kudu中
目录将消费的kafka数据同步到Kudu中一、导入表名映射关系类二、编写数据解析器根据表名解析成具体的POJO对象三、扩展自定义POJO的隐式转换实现四、转换Ogg和Canal对应主题的数据为具体的POJO对象五、实现Kudu表的自动创建工具类六、将数据写入
ElasticSearch安装及使用
什么是Elasticsearch Elasticsearch是一个实时的分布式存储、搜索、分析的引擎。为什么要用Elasticsearch在学习一项技术之前,必须先要了解为什么要使用这项技术。所以,为什么要使用Elasticsearch呢?我们在日常开发中,数据库也能做到(实时、存储、搜索、分析)。