大数据比对，shell脚本与hive技术结合
从主机中获取加密数据内容，解密数据内容（可能会存在json解析）插入到另一个库中，比对原始库和新库的相同表数据的数据一致性内容。
Flink系统架构和应用部署方式
Flink系统架构包括JobManager、TaskManager、算子、Task和Subtask介绍。同时还介绍了Flink的三种应用部署方式，包括Flink Session模式、Flink Job模式和Flink Application模式。
大数据技术与应用 课程设计 基于 Spark的出租房屋大数据分析
类型2-面积适中，租金适中，适合合租、一家人租住；在实现这个项目的过程中，我认为最重要的是对数据的预处理，通过对数据进行清洗和去重，可以保证得到准确的分析结果。此次项目是分析广东七地二手房的房子情况，数据是来自链家的二手房，此 次的爬取的数据是2023年5月最新的数据，数据包含了十个字段，都是爬取后
戎易大数据 | 数据分析实操篇：基于MySQL和Tableau的淘宝用户购物行为数据分析
为提高平台GMV和实现精细化运营，本项目首先使用MySQL（实际上是用Navicat Premium连接了MySQL，方便数据导入）对来自某电商的数据集进行数据预处理，然后通过多维度拆解，从用户和商品两个大的角度分别进行分析，最后借助Tableau搭建仪表盘实现数据可视化。
【Iceberg分析】Spark与Iceberg集成之常用存储过程
数据文件越多，存储在清单文件中的元数据也就越多，而数据文件过小则会导致不必要的元数据量和文件打开成本，从而降低查询效率。catalog_name代表catalog的名称，procedure_name代表存储过程的名称，参数可以通过指定参数名的方式入参，也可以使用位移的方式入参。由于表迁移功能的风险较
MySQL 和 Kafka 之间的数据同步通常是为了实现数据的实时处理和分析。以下是几种常见的实现数据同步的方法
Debezium 是一个分布式平台，用于捕获数据库的变更并将更改事件以流的形式输出到 Kafka。它提供了 MySQL 的连接器，可以实时监控 MySQL 的二进制日志（binlog），并将数据变更作为消息发送到 Kafka。它提供了 MySQL 的连接器，可以实时监控 MySQL 的二进制日志（b
Springboot项目整合RabbitMQ+Redis实现可靠的阿里云短信异步收发功能(手把手实操详细教程)
以下是一个完整的 Spring Boot 项目案例，整合 RabbitMQ 实现阿里云短信异步收发，并将发送情况存入数据库，同时使用 Redis 缓存验证码；这个项目旨在实现一个可靠的短信发送系统，结合了多种技术来确保短信的高效发送和管理。通过以上的设计和实现，这个项目可以实现可靠的短信发送功能，并
Kafka Connect Elasticsearch Connector：高效数据同步的利器
Kafka Connect Elasticsearch Connector：高效数据同步的利器 kafka-connect-elasticsearch Kafka Connect Elasticsearch connector
Hadoop 2.7.1 Windows 7 64位环境下组件下载指南
本文还有配套的精品资源，点击获取 简介：Hadoop是一个开源分布式计算框架，适用于处理和存储大规模数据集。本文主要介绍Hadoop 2.7.1版本在Windows 7 64位系统上的使用，包括关键组件hadoop.dll和winutils.exe的配置。尽管Hadoop最初设计为运行在Linu
RabbitMQ
同步通讯，例打视频，一次只能一人。异步通讯，例发消息，可以多人。现实场景如果用户每次登录都要等待发送消息完成后才结束，性能差。可以把登录信息放入MQ，风控服务去监听，这样大大提高了用户登录的效率。
大数据-178 Elasticsearch Query - Java API 索引操作 & 文档操作
通过 Java API，可以向特定索引插入单个文档，并指定文档的 ID（如果不指定，Elasticsearch 会自动生成一个 ID）。获取文档：Java API 可以根据文档 ID 从索引中获取单个文档，返回的结果会包含文档的元数据信息，如 _id、_index、_version 等。获取索引信息
【RabbitMQ】RabbitMq消息丢失、重复消费以及消费顺序性的解决方案
主要就是一个幂等性的一个问题（无论是一个操作执行多少次，产生的结果合执行一次是相同的），解决方案有几个方面：数据库层面、业务层面、分布式系统层面。主要是有三种情况：生产者消息未发送到服务端、服务端消息没有做持久化导致丢失、消费端未收到消息。，主要有以下几个层面来解决：生成者层面，消费队列层面、消费者
消息队列RabbitMQ
消息队列是一种在分布式系统中常用的通信机制，简称为MQ，它允许不同的应用程序或服务之间通过发送和接收消息来进行异步通信。对于小型企业而言，出于成本考虑，我们通常只会搭建一套MQ集群，公司内的多个不同项目同时使用。由于没有消费者存在，最终消息丢失了，这样说明交换机没有存储消息的能力。发送到交换机的消息
大数据新视界 --大数据大厂之图数据库与大数据：挖掘复杂关系的新视角
本文深入且生动地探讨图数据库与大数据融合，详细阐述基础原理、应用优势、案例展示、性能优化及挑战应对。通过金融、社交、知识图谱、电商等多领域案例结合丰富代码示例呈现独特价值，引入相关文章拓展视野，为开发者提供全面认知，助力利用图数据库挖掘复杂关系。并且对图数据库的未来发展进行了前瞻性探讨，包括与新兴技
RabbitMQ学习实践一：MQ的安装
文章是本人在学习springboot实现消息队列功能时所经历的过程的记录，仅供参考，如有侵权请随时指出。
Pyspark环境配置（Anaconda3）--保姆级教程
本文章主要帮助读者在 Windows 操作系统上搭建单机模式的 PySpark 开发环境.本次环境安装包括：JDK-1.8+jre-1.8+Mysql-8.0+Anaconda3(2022.10)+hadoop-3.2.2+hive-3.1.1
Databend：下一代云数据仓库解决方案
Databend是一个用Rust语言开发的开源云数据仓库,旨在为大规模数据分析提供高性能、低成本的解决方案。作为Snowflake的替代品,Databend专注于快速查询执行和数据摄取,适用于复杂的大规模数据集分析。云原生架构: 与AWS S3、Azure Blob、Google Cloud等云存储
基于Hadoop的天气预报数据爬取与可视化分析（爬虫 + 可视化大屏）
💛博主介绍：作为一位计算机老学长和全栈开发人员🎉，我专注于Java、小程序/APP、python、大数据等技术领域，致力于大学生毕业程序、实践项目的开发、指导和咨询。凭借丰富的开发经验和深入的技术解析，我在此分享实用的编程资源、源代码，并提供定制化技术咨询💡。我的目标是让技术学习变得更高效、更
Python知识点：如何使用Flink与Python进行实时数据处理
通过使用PyFlink，Python开发者可以利用Flink的强大功能来构建实时数据处理应用。无论是简单的数据转换还是复杂的流处理任务，Flink与Python的集成都能提供强大的支持。随着技术的发展，Flink和Python都在不断地引入新的特性和算法，以提高数据处理的效率和准确性。PyFlink
Hive数仓操作（十七）
一、Hive 四种存储格式在 Hive 中，支持四种主要的数据存储格式，每种格式有其特点和适用场景，不过一般只会使用Text 和 ORC 二、Hive 行列存储三、Hive 压缩格式1. TEXTFILE压缩算法：可使用 Gzip、Bzip2 等压缩算法。四、Hive 建表手册创建表的基本语法
