文件服务器FastDFS 消息队列中间件RabbitMQ
Consumer项目中的监听器时刻监听提前设置好的监听队列，如果有消息进入队列中，会调用单元方法将消息中的数据取出消费，消费成功后返回信息在队列中删除消息。在FastDFS中根目录包含256个一级目录、每个一级目录中包含256个二级子目录，在二级子目录中存储图片。如果消息在Consumer项目中拿取
rabbitMQ消息重复问题怎么解决的？
RabbitMQ 消息重复问题的核心是通过消息去重、消费者ACK机制、幂等性设计等手段，确保消息即使重复发送或处理也不会对系统带来不良影响。消息唯一ID：通过唯一ID防止重复处理。手动ACK机制：确保消息在成功处理后才确认。去重表：通过数据库记录消息处理状态。限次重试：通过设置最大重试次数，防止无限
基于Flink CDC实现ElasticSearch同步MySQL环境搭建笔记
实现将不同MySQL Schema实时同步至同一数据源以供其他数据分析应用作为数据源调用。搭建范围包括：供数据分析应用调用的数据源搭建以及MySQL数据同步
RabbitMQ如何避免消息重复投递或重复消费？
这些插件可以在消息发送时自动进行去重操作，根据消息的内容生成唯一的消息ID，并在发送之前检查是否已存在相同ID的消息，从而避免重复发送。使用数据库或缓存来记录已经发送的消息的标识，每次发送消息之前先查询是否已存在相同标识的消息，如果存在则不发送。消费者确认：消费者在处理完消息后，可以发送确认消息给R
Apache Flink的本地调试模式
Flink 的 Local 模式是用于开发、调试和小规模数据处理的理想环境。通过 IDE 或命令行工具，可以快速运行 Flink 作业，并调试代码逻辑。
kafka-python，一个超牛的Python库
`kafka-python` 是一个纯 Python 实现的 Kafka 客户端库，它允许开发者轻松地与 Apache Kafka 集群进行交互，发送和接收消息。
Flink 实时数仓（二）【DIM 层搭建】
Flink 实时数仓 DIM 层搭建
如何确定kafka与zookeeper版本的对应关系
真希望官方可以贴心的整理出所有版本和zookeeper的对应关系，从目前kafka发展的趋势来看，都已经移除zookeeper依赖了，这件事也是木戏，哈哈哈；从解压目录我们可以kafka的源码是基于gradle的，我们只需要去gradle的依赖中找找zookeeper依赖的版本即可；搜索zookee
大数据Spark Streaming、Spark、MapReduce、Impala 和 Hive
大数据的SparkStreaming Spark，mapreduce等概念
HiveSQL：提取json串内容（含key为中文情况）——get_json_oject和json_tuple
提取json串中内容，json格式示例如下......get_json_object和json_tuple的一些不同......
Spring Cloud Stream 3.x+kafka 3.8整合
SpringCloud Alibaba五大组件之——RocketMQ，趁着此机会，继续学习了解一下Spring Cloud Stream，本文就以kafka为例。本文项目用到的所有Maven依赖和版本，都是和前面几篇文章一样。由于整合kafka 不需要用到Cloud Alibaba一系列的技术，所以
【大数据·hadoop】项目实践：IDEA实现WordCount词频统计项目
我们知道，在hdfs分布式系统中，MapReduce这部分程序是需要用户自己开发，我们在ubuntu上安装idea也是为了开发wordcount所需的Map和Reduce程序，最后打包，上传到hdfs上。在ubuntu上安装idea的教程我参考的是这篇。
RabbitMQ 高级特性——延迟队列
RabbitMQ延迟队列
python从入门到精通：pyspark实战分析
spark：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。简单来说，Spark是一款分布式的计算框架，用于调度成本上千的服务器集群，计算TB、PB乃至EB级别的海量数据。同时Spark作为全球顶级的分布式计算框架，支持众多编程语言进
HBase Java API编程-学习记录
输出日志的依赖（刷新完成不飘红即为引入成功）命令启动hdfs文件系统和hbase服务，默认端口：16030），验证环境正常。的依赖（刷新完成不飘红即为引入成功）下出现如下图所示的进程即为正确。HBase web页面如下图所示。
【大数据技术基础 | 实验十二】Hive实验：Hive分区
本实验介绍掌握Hive分区的用法，加深对Hive分区概念的理解，了解Hive表在HDFS的存储目录结构。
毕业设计 大数据电商用户行为分析及可视化(源码+论文)
今天学长向大家介绍一个机器视觉的毕设项目，大数据电商用户行为分析及可视化(源码+论文)毕业设计 基于大数据淘宝用户行为分析🧿 项目分享:见文末!
基于Spark的信用卡逾期数据分析与可视化项目【大数据期末作业】
了解逾期情况，尤其是分析导致逾期的因素，可以帮助金融机构更好地了解客户行为，改善信贷政策，降低不良贷款率，提高金融服务的质量。## 房产无抵押共有56188人，逾期4672人，没逾期51516人。# 房产抵押共有93812人，逾期5354人，不逾期88458人。# 两个记录都有的人有4393人，逾期
hadoop技术实验- 第4章 HBase 开发：使用Java操作HBase
/禁用表//删除表代码//使用create()静态方法就可以得到Configuration对象//config为前文的配置对象//使用连接对象获取Admin对象//禁用表//删除表。
RabbitMQ 优点和缺点
则体现在吞吐量较低、集群管理复杂、资源消耗较高，以及在大规模高吞吐量的场景中表现不如 Kafka 这类面向数据流处理的系统。：RabbitMQ 在处理大量消息积压时，可能会消耗大量的内存和 CPU 资源，特别是在消息没有及时消费的情况下。：相比于 Apache Kafka 等面向大数据流处理的消息队
