RabbitMQ 保证消息不丢失的几种手段
我们通过分析消息从生产者发送消息到消费者消费消息的全过程,得出了消息可能丢失的几种场景,并给出了相应的解决方案,如果需要保证消息在整条链路中不丢失,那就需要生产端、mq自身与消费端共同去保障。生产端:对生产的消息进行状态标记,开启confirm机制,依据mq的响应来更新消息状态,使用定时任务重新投递
Flume采集数据到Kafka操作详解
Flume采集数据到Kafka操作详解
RabbitMQ如何保证消息消费的顺序性?
什么场景下会发生消息的消费顺序的错乱?如何保证消息消费的有序性?
Hadoop | 好用的脚本分享
Hadoop脚本!一键完成,从此告别重复操作!
Spark RDD编程 文件数据读写
Spark RDD编程 文件数据读写
详解Eureka服务注册和调用
一文聊明白以eureka为核心的服务注册调用体系。
kafka tool下载安装和使用
kafka tool工具下载 安装 和使用
Kafka安装及启动用法详解
Kafka安装及启动用法详解
Hadoop详细入门知识
现在的我们,生活在数据大爆炸的年代。2020年,全球的数据总量达到44ZB,经过单位换算后,至少在440亿TB以上,也就是说,全球每人一块1TB的硬盘都存储不下。扩展: 数据大小单位,从小到大分别是: byte、kb、mb、Gb、Tb、PB、EB、ZB、DB、NB...单位之间的转换都是满足1024
RestTemplate
文章目录RestTemplate简介创建`RestTemplate`方法一添加自定义的拦截器方法二`RestTemplate API`使用GET`getForEntity()``getForObject()`POST`postForEntity()``postForObject()``postFor
大数据面试题Hbase篇
Column Family 的个数具体看表的数据,一般来说划分标准是根据数据访问频度,如一张表里有些列访问相对频繁,而另一些列访问很少,这时可以把这张表划分成两个列族,分开存储,提高访问效率。
若依框架解读(微服务版)——2.模块间的调用逻辑(ruoyi-api模块)(OpenFeign)(@innerAuth)
fallbackFactory = RemoteUserFallbackFactory.class调用失败时候的降级策略,一般会打印返回错误日志信息。我们以RemoteUserService接口为例子:其中contextId = "remoteUserService"名称,其中rouyi–api模块
Linux环境下安装RabbitMQ的全过程
记录一下安装RabbitMQ的全过程。这里面有我安装时遇到的问题报错,写个解决问题思路和参考:1、装 erlang(的版本)与 rabbitmq-server服务器的版本冲突,重装erlang环境即可...
rabbitmq无法连接问题
最近一个项目使用了rabbitmq作为消息队列,进行异步解耦操作,因涉及到数据的一致性问题,设置了手动应答和持久化功能。开发过程中一切顺利,然而天将降大任于斯人也必先苦其心智老其筋骨,饿其体肤,空乏其身,好吧偏题了。在最终的测试运行中发现一些偶尔会有消息无法发送的情况,有时候1、2周出现,有时候1、
单点登录原理及实现方式
单点登录的英文名叫做:Single Sign On(简称SSO),指在同一帐号平台下的多个应用系统中,用户只需登录一次,即可访问所有相互信任的系统。简而言之,多个系统,统一登陆。为什么需要做单点登录系统呢?在一些互联网公司中,公司旗下可能会有多个子系统,每个登陆实现统一管理,多个账户信息统一管理 S
如何保证Mq消息不丢失
mq: rabbitmq, rocketmq, kafka
一文读懂kafka消息丢失问题和解决方案
今天分享一下kafka的消息丢失问题,kafka的消息丢失是一个很值得关注的问题,根据消息的重要性,消息丢失的严重性也会进行放大,如何从最大程度上保证消息不丢失,要从生产者,消费者,broker几个端来说。关于kafka的消息丢失问题和解决方案就说到这里,我们分别从生产者到broker,broker
kafka知识点全方位讲解
Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。K
大数据技术(林子雨版)——期末复习知识点
HBase针对谷歌Big Table的开源实现,是一个高可靠、高性能、面向列、可伸缩的分布式数据库,存储非结构化和半结构化的松散数据。②个核心:1、分布式存储:HDFS、HBase、NoSQL;NoSQL数据库:应用于互联网企业、传统企业的非关键业务(数据分析),对数据量和并发读写要求较高的场景。行
SpringCloud 微服务架构详解
如果你正在学习SpringCloud或者学过微服务有点遗忘,这篇文章是不错的选择,内有丰富的图文和案例帮助你理解。