spark之action算子学习笔记(scala,pyspark双语言)
函数签名：def collect(): Array[T]功能说明：收集每个分区数据，以数组Array的形式封装后发给driver。设置driver内存：bin/spark-submit --driver-memory 10G(内存大小）注意：collect会把所有分区的数据全部拉取到driver端，
2023_Spark_实验二十四：Kafka集群环境搭建
KafKa集群环境的搭建，zookeeper集群搭建，Kafka部署验证，2023
SpringBoot基于Spark的共享单车数据管理系统（源码+LW）
基于Spark的共享单车数据存储系统拟采用java技术和Springboot 搭建系统框架，后台使用MySQL数据库进行信息管理，设计开发的共享单车数据存储系统。通过调研和分析，系统拥有管理员和用户两个角色，主要具备个人中心、用户管理、共享单车管理、系统管理等功能模块。将纸质管理有效实现为在线管理，
spark读取、写入Clickhouse以及遇到的问题
最近需要处理Clickhouse里面的数据，经过上网查找总结一下spark读写Clickhouse的工具类已经遇到的问题点。
Spark Streaming 编程权威使用指南
本文档为Spark的旧版本Streaming引擎。Spark Streaming 不再更新，是一个遗留项目。在Spark中有一种新的、更易用的流处理引擎，称为结构化流式处理。您应该使用Spark结构化流处理来开发流式应用和流水线。请参阅结构化流式处理编程指南。*
2023_Spark_实验二十三：Kafka的安装与基本操作
Kafka单节点模式部署，并测试
Spark SQL 日期时间转换指南
通过使用to_date、to_timestamp、date_format和datediff等函数，可以轻松地在Spark SQL中处理日期和时间数据。上述代码中，我们首先创建了一个包含时间戳字符串的DataFrame，并通过之前的示例将其转换为日期和时间戳类型。在Spark SQL中，可以使用to_
spark 窗口滑动用于在不同的数据块之间执行操作
在 Scala 中进行分布式执行，例如使用 Apache Spark，可以通过设置窗口滑动来实现不同 RDD 之间的关联处理。窗口滑动是一种窗口操作，用于在不同的数据块之间执行操作。请注意，此示例假设你已经在本地启动了一个 Spark Streaming 的环境，并通过 socket 接收数据。在实
Spark---资源、任务调度
例如：要找出网站活跃的前10名用户，活跃用户的评测标准就是用户在当前季度中登录网站的天数最多，如果某些用户在当前季度登录网站的天数相同，那么再比较这些用户的当前登录网站的时长进行排序，找出活跃用户。1、默认情况每个worker为当前的Application启动一个Executor，这个Executo
【Spark数仓项目】需求八：MySQL的DataX全量导入和增量导入Hive
本需求将模拟从MySQL中向Hive数仓中导入数据，数据以时间分区。测试两种导入场景，一种是将数据全量导入，即包含所有时间分区；另一种是每天运行调度，仅导入当天时间分区中的用户数据。mysql表建表语句：hive注意字段时间戳，我们将从以上MySQL向Hive导入数据。编写datax的json脚本"
Spark与PySpark(1.概述、框架、模块)
大规模数据处理的统一分析引擎弹性分布式数据集（即RDD)的概念。
Hive增强的聚合、多维数据集、分组和汇总
在多维分析场景下，我们可能会用到高阶聚合函数，例如CUBEROLLUP等。Hive、Spark、Presto等引擎都提供类似的高阶聚合函数，以对不同维度组合下的数据进行聚合统计Hive官方将这种分析称为GROUP BY子句增强的聚合、多维数据集、分组和汇总那么什么是增强聚合和多维分析呢？增强聚合是指
【SparkSQL】SparkSQL的运行流程 & Spark On Hive & 分布式SQL执行引擎
本文重点介绍、SparkSQL的运行流程、 SparkSQL的自动优化、Catalyst优化器、SparkSQL的执行流程、Spark On Hive原理配置、分布式SQL执行引擎概念、代码JDBC连接。
Spark-Core
一、RDD 编程二、累加器三、广播变量
Spark系列之Spark的RDD详解
Spark系列之Spark的RDD详解
2023_Spark_实验二十五：SparkStreaming读取Kafka数据源：使用Direct方式
通过终端模拟输入将数据输入到kafka集群，使用scala开发消费者消费kafka订阅的主题数据，实现词频统计。
数据仓库高级面试题
数据仓库高级面试题
企业spark案例 —— 出租车轨迹分析(Python)
【代码】企业spark案例 —— 出租车轨迹分析(Python)
spark dynamicAllocation详解及使用
动态资源分配策略在空闲时释放 Executor，繁忙时申请 Executor，虽然逻辑比较简单，但是和任务调度密切相关。它可以防止小数据申请大资源，Executor 空转的情况。在集群资源紧张，有多个 Spark 应用的场景下，可以开启动态分配达到资源按需使用的效果。
Spark连接被拒绝导致启动报错问题解决
在解决该问题时，我们需要分析具体原因并采取相应的解决方案。然而，由于网络或安全策略等原因，可能会出现连接被拒绝的情况，导致Spark无法连接到所需的资源，从而引发启动报错问题。大数据处理框架Spark在进行任务提交及启动运行过程中可能会遇到连接被拒绝的情况，这会导致Spark启动报错。本文将介绍该问
