MySQL与ApacheFlink的集成与开发
1.背景介绍MySQL与ApacheFlink的集成与开发1. 背景介绍MySQL是一种流行的关系型数据库管理系统，广泛应用于Web应用程序、企业应用程序和数据仓库等领域。Apache Flink是一个流处理框架，用于处理大规模的实时数据流。在大数据时代，MySQL和Apache Flink之间的集
【云原生进阶之PaaS中间件】第三章Kafka-4.3.2-broker网络模型
kafka broker 在启动的时候，会根据你配置的listeners 初始化它的网络组件，用来接收外界的请求，这个listeners你可能没配置过，它默认的配置是listeners=PLAINTEXT://:9092就是告诉kafka使用哪个协议，监听哪个端口，如果我们没有特殊的要求的话，使用它
【基础知识】大数据组件HBase简述
HBase是一个开源的、面向列（Column-Oriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。只是面向列，不是列式存储。
Spark大数据分析与实战笔记（第三章 Spark RDD 弹性分布式数据集-04）
设置检查点(checkPoint)方式，本质上是将RDD写入磁盘进行存储。当RDD在进行宽依赖运算时，只需要在中间阶段设置一个检查点进行容错，即通过Spark中的sparkContext对象调用setCheckpoint()方法，设置一个容错文件系统目录(如HDFS）作为检查点checkpoint，
hive/sparksql/presto 时区转换和时间类型转换
hive/sparksql/presto 时区转换和时间类型转换
删除和清空Hive外部表数据
内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹，并将属于这
深入学习Kafka之概念解析
在 Kafka 集群中会有一个或多个 broker，其中有一个 broker 会被选举为控制器( Kafka Controller)，它负责管理整个集群中所有分区和副本的状态。生产者（Producers）将消息发布到特定的Topic，而消费者（Consumers）则订阅感兴趣的Topic以消费其中的
【大数据面试题】007 谈一谈 Flink 背压
在流式处理框架中，如果下游的处理速度，比上游的输入数据小，就会导致程序处理慢，不稳定，甚至出现崩溃等问题。
python智慧交通数据分析系统 时间序列预测算法 爬虫 出行速度预测 拥堵预测 大数据 毕业设计（源码）✅
python智慧交通数据分析系统 时间序列预测算法 爬虫 出行速度预测 拥堵预测 大数据 毕业设计（源码）✅
Spark On Hive原理和配置
包含Hive、MySQL等安装配置
【UE插件DTRabbitMQ】 虚幻引擎蓝图连接RabbitMQ服务器使用插件说明
本插件可以使用蓝图连接 RabbitMQ服务器，并推送或者监听消息。
大数据背景下用户商品购买体系的自动化分析
随大数据的发展，中大型商户渐渐需要依靠大数据对顾客进行更深层次的了解。为了保证中大型商户的利益最大化，常常需要对用户进行动态采样，适当获取用户个人信息，匹配到他们真正想要的产品，因此，了解一样商品的复购率就显得尤为重要了。
大数据Doris（六十四）：Doris on ES在快手商业化的业务场景介绍
理论上都是维表主键为唯一ID来填充所有维度，这样只是冗余存储了多条维度数据，但是在OLAP引擎里，不管是DRUID、KYLIN还是DORIS都不会造成数据量的基数膨胀。维度数据与事实数据完全分离，维度数据用专门的引擎存储(如mysql、elasticsearch等等)，可以支持高频update操作，
Linux系统下Spark的下载与安装（pyspark运行示例）
最近需要完成数据课程的作业，因此实践了一下如何安装并配置好spark。
Kafka 记录
在一个Kafka集群中，每增加一个代理就需要为这个代理配置一个与该集群中其他代理不同的id, id值可以选择任意非负整数即可，只要保证它在整个Kafka集群中唯一，这个id就是代理的名字，也就是在启动代理时配置的broker.id对应的值。同时与传统消息系统不同的是，Kafka并不会立即删除已被消费
大数据本地环境搭建03-Spark搭建
需要提前部署好 Zookeeper/Hadoop/Hive 环境。
Spark中多分区写文件前可以不排序么
会根据partition或者bucket作为最细粒度来作为writer的标准，如果相邻的两条记录所属不同的partition或者bucket，则会切换writer，所以说如果不根据partition或者bucket排序的话，会导致。频繁的切换，这会大大降低文件的写入速度。目前 Spark中的实现中，
Nacos、Eureka、Zookeeper、Consul对比
开发中，经常需要对微服务进行管理，所以需要引入一些服务治理的中间件，用于注册、发现服务，常见的服务治理中间件为。
大数据毕设分享 大数据上海租房数据爬取与分析可视化 -python 数据分析 可视化
# 1 前言🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩 基于大数据上海租房数据爬取
2024-02-21（Spark）
4040：是一个运行的Application在运行的过程中临时绑定的端口，用以查看当前任务的状态。4040被占用会顺延到4041，4042等。4040是一个临时端口，当前程序运行完成后，4040就会被注销。4040和Driver相关联，一个Driver启动起来，一个4040端口就被绑定起来，并可以查
