Canal同步Mysql实时操作日志至RabbitMQ，并实现监听及解析处理
使用Canal + RabbitMQ，实现Mysql数据库实时操作通知及业务处理
RabbitMQ笔记
比较常用的就是以上三种：直连(DirectExchange)，发布订阅(FanoutExchange)，通配符(TopicExchange)。熟练运用这三种交换机类型，基本上可以解决大部分的业务场景。实际上稍微思考一下，可以发现通配符(TopicExchange)这种模式其实是可以达到直连(Dire
RabbitMq踩坑记录
检查你的连接配置，很可能是你的yml里面的端口配置的是15672，更改为5672即可；2、连接报错：org.springframework.amqp.AmqpIOException: java.io.IOException。step1：登陆rabbitmq的管理页面(PS：地址为localhost:
基于Hadoop的旅行推荐系统
随着互联网和移动设备的普及，旅游已经成为人们生活中不可或缺的一部分。然而，海量的旅游信息和多样化的旅行需求让旅行计划变得复杂且费时。为了解决这一问题，我们设计并实现了基于HadoopHivePandasFlask和ECharts的零陵古城旅行推荐系统。该系统通过分析大量用户行为数据和旅游资源信息，提
RabbitMQ - 以 MQ 为例，手写一个 RPC 框架 demo
本篇文章来自于笔者之前写过的一个系列 —— “根据源码，模拟实现 RabbitMQ” 系列，不妨可以去看看~
Spark的生态系统概览：Spark SQL、Spark Streaming
Spark SQL和Spark Streaming是Apache Spark生态系统中的两个核心组件，分别用于结构化数据处理和实时数据处理。了解它们的功能、适用场景和示例应用场景有助于更好地决策何时使用哪个组件。无论是处理大规模数据分析还是实时数据处理，Spark SQL和Spark Streami
flink 事件处理 CEP 详解
CEP（Complex Event Processing，复杂事件处理）是一个基于Flink Runtime构建的复杂事件处理库，它允许用户定义复杂的模式来检测和分析事件流中的复杂事件。
基于Hive的招聘网站的大数据分析系统
基于Hive的招聘网站的大数据分析系统，预处理包括数据清洗、去重、缺失值处理、数据格式转换等环节，以确保数据的质量和一致性。在这一阶段，还可以利用自然语言处理技术对文本数据进行分词、词性标注等操作，为后续的分析提供更多维度的信息。通过对招聘数据的分析，我们可以发现人才市场的热点行业、热门职位、薪资水
【RabbitMQ】使用SpringAMQP的Publish/Subscribe(发布/订阅)
*发布(Publish)、订阅(Subscribe)：**允许将同一个消息发送给多个消费者**注意：**exchange负责消息路由，而不是存储，路由失败则消息丢失。
Kafka高可用之ISR机制：揭秘消息一致性背后的守护者
Kafka的ISR机制作为保障高可用性与数据一致性的核心机制，通过动态维护同步副本集合，确保Leader故障时能快速选出新Leader，保持Partition服务不间断，同时在网络波动等异常情况下，通过调整ISR成员，兼顾数据一致性与系统的健壮性。：In-Sync Replica Set（ISR）是
基于Spark的淘宝数据分析学习案例
参考地址。
openEuler搭建hadoop Standalone 模式
1. 升级软件2. 安装常用软件3. 关闭防火墙4. 修改主机名和IP地址5. 修改hosts配置文件6. 下载jdk和hadoop并配置环境变量7. 配置ssh免密钥登录8. 修改配置文件9. 初始化集群10. windows修改hosts文件11. 测试
消息队列之RabbitMQ的安装配置
RabbitMQ是由erlang语言开发，基于AMQP（Advanced Message Queue 高级消息队列协议）协议实现的消息队列，它是一种应用程序之间的通信方法，消息队列在分布式系统开发中应用非常广泛。点击跳转RabbitMQ官方地址简单模式，work模式 ，Publish/Subscri
解密消息队列的复制魔法：RocketMQ vs Kafka
RocketMQ 和 Kafka 都在消息复制上有独特的实现方式，各有优缺点。RocketMQ：提供传统主从复制和 Dledger 复制。传统主从复制性能好，但可用性稍差；Dledger 复制可用性高，但性能和资源利用率较低。Kafka：基于 ISR 的复制方式，灵活可配置，用户可以根据需求在性能、
Flink消费kafka消息实战，字节跳动+阿里+华为+小米等10家大厂面试真题
注意：本文的重点是Flink，所以在192.168.1.101这台机器上通过Docker快速搭建了kafka server和消息生产者，只要向这台机器的消息生产者容器发起http请求，就能生产一条消息到kafka；192.168.1.104这台机器安装了Apache Bench，可以通过简单的命令，
docker创建 Maxwell容器 并连通Kafka
Kafka集群里生成了topic_db主题目前说明maxwell与kafka连通 但是还没有传输数据，接下来修改mysql指定监控database里的tables，来看看maxwell是否能够将bin-log日志成功传给kafka。干脆想着使用独立的容器单独起一个maxwell算了，开始尝试单独起m
Flink的流式处理引擎的架构设计及核心原理分析
胡弦，视频号2023年度优秀创作者，互联网大厂P8技术专家，Spring Cloud Alibaba微服务架构实战派(上下册)和RocketMQ消息中间件实战派(上下册)的作者，资深架构师，技术负责人，极客时间训练营讲师，四维口袋KVP最具价值技术专家，技术领域专家团成员，2021电子工业出版社年度
Spark Streaming原理与代码实例讲解
Spark Streaming原理与代码实例讲解作者：禅与计算机程序设计艺术1. 背景介绍1.1 大数据流处理的重要性在当今大数据时代,海量数据以持续不断的流式方式实时产生,传统的批处理模式已经无
ES 数据写入方式:直连 VS Flink 集成系统
ES 作为一个分布式搜索引擎，从扩展能力和搜索特性上而言无出其右，然而它有自身的弱势存在，其作为近实时存储系统，由于其分片和复制的设计原理，也使其在数据延迟和一致性方面都是无法和 OLTP（Online Transaction Processing）系统相媲美的。也正因如此，通常它的数据都来源于其他
RabbitMQ、kafaka、rocketmq等消息队列MQ消息堆积如何解决
1.产生背景： 生产者投递消息的速率与我们消费者消费的速率完全不匹配。2.生产者投递消息的速率>消费者消费的速率导致我们消息会堆积在我们 mq 服务器端中，没有及时的被消费者消费 所以就会产生消息堆积的问题3.注意的是：rabbitmq 消费者我们的消息消费如果成功的话 消息会被立即删除（自动ack
