RabbitMQ消息重复的原因与解决方案
对于消息队列（MQ）来说，消息丢失/消息重复/消费顺序/消息堆积是比较常见的问题，都属于消息异常，这几个问题比较重要，面试中也会经常问到。
如何构建Hive数据仓库Hive 、数据仓库的存储方式 以及hive数据的导入导出
官方定义：数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的，这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。（1）安装hive常规配置，这里不记录安装过程唯一需要注意的地方是有一个hive.metastroe.dirname属性需要配置配置的值是h
【微服务】Eureka（服务注册，服务发现）
- 引入 eureka-server --> < dependency > < groupId > org.springframework.cloud < artifactId > spring-cloud-starter-netflix-eureka-server
计算机毕业设计-基于大数据的校园一卡通数据分析与可视化平台
本项目基于国内某高校校园一卡通系统一个月的运行数据，使用数据分析和建模的方法，挖掘数据中所蕴含的信息，对学生在校园内的消费行为、生活习惯和消费金额等方面进行规律分析，同时对学校不同食堂、商铺等销售数据、人流量等维度进行统计分析，并构建 web 交互平台，通过视觉感知，更清晰直观、方便快速地抓住数据的
Flink通讯模型—Akka与Actor模型
也就是说，它可以被分配，分布，调度到不同的CPU，不同的节点，乃至不同的时间片上运行，而不影响最终的结果。尽管单个的actor是自然有序的，但一个包含若干个actor的系统却是高度并发的并且极具扩展性的。actor线程顺序处理收到的消息。3）call stack的问题 当我们编程模型异步化之后，还有
Zookeeper+Kafka单节点部署
tickTime的默认值为2000毫秒，更低的tickTime值可以更快地发现超时问题，但也会导致更高的网络流量（心跳消息）和更高的CPU使用率（会话的跟踪处理）。1 * tickTime是客户端与zk服务端的心跳时间，2 * tickTime是客户端会话的超时时间。若在外部解压可直接传入相应的文件
【Hadoop】 实践总结
本文将以离线批处理大数据为例，演示简单的Hadoop流程，不作过多理论概念介绍。具体内容具体可分为：1、文件导入Hdfs；2、MapReduce作业；3、Hive建模；4、Sqoop数据抽取。
大数据毕设分享 深度学习图像风格迁移系统(源码分享)
今天学长向大家分享一个毕业设计项目毕业设计 深度学习图像风格迁移系统(源码分享)毕业设计 深度学习图像风格迁移系统图片风格迁移指的是将一个图片的风格转换到另一个图片中，如图所示：原图片经过一系列的特征变换，具有了新的纹理特征，这就叫做风格迁移。
Flink与Spring Boot集成实践：搭建实时数据处理平台
在当今数据风暴的时代，实时数据处理已经成为众多企业关注的热点。Apache Flink作为一个高性能、可扩展的实时计算框架，在实时数据处理领域占据着举足轻重的地位。Spring Boot则以其快速开发、简化配置而广受欢迎，将两者结合，我们可以快速地搭建起一个实时数据处理平台。本文将详细讲述如何将Fl
使用MySQL的日志和Kafka同步数据
配置Kafka Connect：编辑Kafka Connect的配置文件，将MySQL Connector插件的相关配置添加到配置文件中。安装Kafka Connect：Kafka Connect是Kafka的插件框架，它允许你使用各种连接器来将数据从外部系统导入和导出到Kafka中。启动Kafka
zookeeper集群安装后启动失效
zoo.cfg配置文件里dataDir指定的那个目录下需要有myid文件，如果没有则创建。检查java版本，有些时候会发现java版本对应的是openjdk，需要将openjdk删除，重新将java变量配置文件运行一遍。本机对应的ip是192.168.20.102，则在myid文件中填入前面 ser
xsync和myhadoop.sh中shell脚本的解释
逐句解释xsncy和myhadoop.sh脚本的解释。
SpringBoot3的RabbitMQ消息服务
配置一个fanout类型的交换器，不需要指定对应的路由键（Routing key），同时会将消息路由到每一个消息队列上，然后每个消息队列都可以对相同的消息进行接收存储，在同一交换器下的所有队列都将收到消息。配置一个direct类型的交换器，并指定不同的路由键值（Routing key）将对应的消息从
【数仓】Kafka消息可视化工具：Offset Explorer（原名kafka Tool）
Offset Explorer（以前称为Kafka Tool）是一个用于管理和使用Apache Kafka®集群的GUI应用程序。它提供了一个直观的界面，允许用户快速查看Kafka集群中的对象以及集群主题中存储的消息。它包含面向开发人员和管理员的功能。Offset Explorer仅供个人使用。未经
kafka的Docker镜像使用说明(wurstmeister/kafka)
在hub.docker.com网站上，Star最多的kafka镜像是wurstmeister/kafka，今天一起来实践这个镜像，使用此镜像搭建kafka环境，并且生产和消费消息；
RabbitMQ之“延时队列”
延迟队列存储的对象是对应的延迟消息，所谓“延迟消息”是指当消息被发送以后，并不想让消费者立刻拿到消息，而是等待特定时间后，消费者才能拿到这个消息进行消费
数据仓库概述
数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策，它是一种与时间相关的、不可修改的数据集合。
Mysql之pt-archiver工具（数据库归档利器）
数据库管理员或者运维人员经常需定期对数据进行归档和清除，我们可以使用的Percona的PT-归档工具能完成这一功能，使得数据归档变得方便简单。官网地址。
Kafka SASL_SSL双重认证
kafka提供了多种安全认证机制，主要分为SASL和SSL两大类。在 Kafka 中启用 SASL_SSL 安全协议时，SASL 用于客户端和服务器之间的身份验证，SSL 则用于加密和保护数据的传输。不仅提供身份验证，还提供加密和数据保护的功能。因工作需要，需要在测试环境搭建一套基于SASL_SSL
Spring Boot中使用Kafka时遇到“构建Kafka消费者失败“的问题
在使用Spring Boot集成Kafka时，可能会遇到"构建Kafka消费者失败"的错误。本文提供了一些可能的解决方案，包括检查Kafka依赖、配置、服务器连接、消费者配置和权限等方面。本文将探讨在Spring Boot应用程序中使用Kafka时可能遇到的"构建Kafka消费者失败"错误，并提供解
