初识RabbitMQ
RabbitMQ是一个开源的消息代理软件，实现了高级消息队列协议（AMQP）的标准，提供了可靠的消息传递和支持消息的发布与订阅。通过RabbitMQ，可以实现系统之间的解耦合，提高系统的可扩展性和灵活性。其灵活的路由机制、消息持久化、集群和高可用性特性使得RabbitMQ在分布式系统中广泛应用。
大数据毕设分享 机器视觉 opencv 深度学习 驾驶人脸疲劳检测系统 -python
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩机器视觉 opencv 深度学习 驾驶人脸
使用Spark清洗统计业务数据并保存到数据库中
1）打开SpringBoot项目：BigData-Etl-KongGuan创建StreamingContext，设置拉取流的时间，准备读取Kafka数据。本地开发时Spark配置使用local[*]方式，设置成本地运行模式，放到集群中运行时需要修改为Yarn模式。该分支是，这里会用到一个类Spark
Zookeeper 作为Dubbo端注册中心基础知识
ZooKeeper 集群中三种角色的节点（Leader、Follower 和 Observer）都可以处理 Client 的读请求，因为每个节点都保存了相同的数据副本，直接进行读取即可返回给 Client。对于写请求，如果 Client 连接的是 Follower 节点（或 Observer 节点）
毕业设计 基于大数据B站数据分析项目 情感分析
今天向大家介绍如何使用大数据技术，对B站的视频数据进行分析，得到可视化结果。这里学长分为两个部分描述：🧿 选题指导, 项目分享：见文末分析方向：首先从总体情况进行分析，之后分析综合排名top100的视频类别。总体情况部分包括：综合排名top100部分包括：5. top100类别占比。6. top1
Spark-Scala语言实战（2）（在IDEA中安装Scala，超详细配图）
对一个真正想深入学习Scala的人来说，今天我会给大家带来如何在IDEA中安装Scala，了解IDEA。望在本篇文章中，大家有所收获。也欢迎朋友们到评论区下一起交流学习，共同进步。
GBASE南大通用数据库金融案例分享-中国农业银行数据仓库项目
中国农业银行前瞻布局，新构建的数据仓库系统采用GBASE南大通用GBase 8a MPP Cluster与Hadoop的融合架构，围绕国产、开源，构建全栈式数据服务技术架构，基本实现数据应用自主创新、安全可控。
Eureka部署注意事项
本文主要对之前部署文档中的遗漏点和注意事项进行补充。
关于Spark和MapReduce，一篇文带你看清楚
非结构化数据：指数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。如word、pdf、ppt及各种格式的图片、视频等。其实除了结构化数据和非结构化数据，还有一类是半结构化数据，那什么是半结构化数据？半结构化数据：指非关系模型的、有基本固定结构模式的数据，例如日志文件
数据仓库概述
数据仓库是一种面向商务智能 (BI) 活动（尤其是分析）的数据管理系统，它仅适用于查询和分析，通常涉及大量的历史数据。在实际应用中，数据仓库中的数据一般来自应用日志文件和事务应用等广泛来源。数据仓库能够集中、整合多个来源的大量数据，借助数据仓库的分析功能，企业可从数据中获得宝贵的业务洞察，改善决策。
Flink Flink数据写入Kafka
flink官方集成了通用的 Kafka 连接器，使用时需要根据生产环境的版本引入相应的依赖。通过socket模拟数据写入Flink之后，Flink将数据写入Kafka。
python做大数据分析入门,python大数据要学什么
什么是Pyspark？PySpark是Spark的Python语言接口，通过它，可以使用Python API编写Spark应用程序，目前支持绝大多数Spark功能。目前Spark官方在其支持的所有语言中，将Python置于首位Python中使用Turtle绘制半圆形。如何安装？在终端输入或者使用py
深入了解Kafka的数据持久化机制
本文将带领读者深入研究Apache Kafka中的数据持久化，通过实例和详细解释，揭示持久化在消息传递中的关键作用。从磁盘存储到日志段管理再到数据恢复，我们将探索Kafka数据的永久之道，带你穿越信息的持久化之旅。
Hive的时间操作函数
hive 里面的时间函数有很多，今天单讲dayofweek函数，背景：有时候不仅要出日报，还要出周报，需要很多天归为同一周，求sum或者均值；在Hive中，可以使用dayofweek()函数来计算某个日期是一周的第几天。其中，date表示要计算的日期，可以是一个日期字符串或者一个日期类型的列名。da
带你深入了解spark（重生之最牛逼最详细版）
MapReduce和Spark都是用于大数据处理的框架，但们在设计和功能上有一些区别。MapReduce是一种编程模型，用于处理大规模数据集的并行计算。它由Google提出，并被Apache Hadoop项目采纳。MapReduce将计算任务分为两个阶段：Map阶段和Reduce阶段。在Map阶段，
中电金信：技术实践｜Flink维度表关联方案解析
实时lookup数据库关联的特点是实现简单，但数据库压力较大，无法支撑大数据量的维度数据查询，并且在查询时只能根据当时的维度表数据查询，如果事实表数据重放或延迟，查询结果的正确性无法得到保证，且多次查询结果可能不一致。广播维度表方案是将维度表数据用流的方式接入Flink Job 程序，并将维度表数据
【Flink入门修炼】2-1 Flink 四大基石
前一章我们对 Flink 进行了总体的介绍。对 Flink 是什么、能做什么、入门 demo、架构等进行了讲解。本章我们将学习 Flink 重点概念、核心特性等。本篇对 Flink 四大基石进行概括介绍，是 Flink 中非常关键的四个内容。
大数据主要组件HDFS Iceberg Hadoop spark介绍
NameNode：NameNode 是 HDFS 的主节点，负责管理文件系统的元数据，包括文件和目录的结构、文件到数据块（Block）的映射、数据块到数据节点（DataNode）的映射等。每行都是每个数据文件的详细描述，包括数据文件的状态、文件路径、分区信息、列级别的统计信息（例如每列的最大最小值、
Kafka入门与安装
基于磁盘的数据存储，换句话说，Kafka的数据天生就是持久化的。高伸缩性，Kafka一开始就被设计成一个具有灵活伸缩性的系统，对在线集群的伸缩丝毫不影响整体系统的可用性。高性能，结合横向扩展生产者、消费者和broker，Kafka可以轻松处理巨大的信息流（LinkedIn公司每天处理万亿级数据），同
Kafka-消费者-KafkaConsumer分析-offset操作
commitOffsetsSync()方法与commitOffsetsAsync()方法的实现类似，也是调用sendOffsetCommitRequest()方法创建并缓存OffsetCommitRequest,使用OffsetCommitResponseHandler处理OffsetCommitR
