Spark大数据分析与实战笔记（第三章 Spark RDD 弹性分布式数据集-04）
设置检查点(checkPoint)方式，本质上是将RDD写入磁盘进行存储。当RDD在进行宽依赖运算时，只需要在中间阶段设置一个检查点进行容错，即通过Spark中的sparkContext对象调用setCheckpoint()方法，设置一个容错文件系统目录(如HDFS）作为检查点checkpoint，
hive/sparksql/presto 时区转换和时间类型转换
hive/sparksql/presto 时区转换和时间类型转换
Spark On Hive原理和配置
包含Hive、MySQL等安装配置
Linux系统下Spark的下载与安装（pyspark运行示例）
最近需要完成数据课程的作业，因此实践了一下如何安装并配置好spark。
大数据本地环境搭建03-Spark搭建
需要提前部署好 Zookeeper/Hadoop/Hive 环境。
Spark中多分区写文件前可以不排序么
会根据partition或者bucket作为最细粒度来作为writer的标准，如果相邻的两条记录所属不同的partition或者bucket，则会切换writer，所以说如果不根据partition或者bucket排序的话，会导致。频繁的切换，这会大大降低文件的写入速度。目前 Spark中的实现中，
2024-02-21（Spark）
4040：是一个运行的Application在运行的过程中临时绑定的端口，用以查看当前任务的状态。4040被占用会顺延到4041，4042等。4040是一个临时端口，当前程序运行完成后，4040就会被注销。4040和Driver相关联，一个Driver启动起来，一个4040端口就被绑定起来，并可以查
Spark大数据分析与实战笔记（第三章 Spark RDD 弹性分布式数据集-03）
依赖关系分为窄依赖和宽依赖，窄依赖表示每个父RDD的分区最多只被一个子RDD的分区使用，宽依赖表示每个父RDD的分区可以被多个子RDD的分区使用。需要注意的是，RDD的分区函数是针对(Key,Value)类型的RDD，分区函数根据Key对RDD元素进行分区。RDD是Spark提供的最重要的抽象概念，
2024最新Spark核心知识点总结
转换(transformations) ：从已经存在的数据集中创建一个新的数据集，会创建一个新的RDD，例如map操作，会把数据集的每个元素传给函数处理，并生成一个新的RDD，常见如：Map,Filter,FlatMap,GroupByKey,ReduceByKey,Join,Sort,Partio
面试系列之《Spark》（持续更新...）
根据分区之间是否产生shuffle来确定宽依赖：上游一个分区的数据被打散到下游的多个分区，1:N窄依赖：上游一个分区的数据全部进入到下游的一个分区，1:1 or N:1。
Spark数据可视化：使用Spark与Tableau/Power BI进行数据可视化分析
通过Spark与Tableau/Power BI的集成，我们可以实现大数据的高效处理和直观的可视化分析。首先，我们需要明确在使用Tableau或Power BI进行数据可视化之前，Spark在整个数据处理流程中的角色。集成后，用户可以在Tableau中创建各种图表、仪表板，并利用Tableau的交互
分布式数据处理：Hadoop与Spark
1.背景介绍分布式数据处理：Hadoop与Spark1. 背景介绍随着数据的增长，传统的单机数据处理方法已经无法满足需求。分布式数据处理技术成为了一种必须的解决方案。Hadoop和Spark是两种非常流行的分布式数据处理技术，它们各自具有不同的优势和特点。本文将详细介绍Hadoop和Spark的核心
Spark与Kubernetes集成
1.背景介绍1. 背景介绍Apache Spark是一个开源的大规模数据处理框架，它提供了一种高效的方法来处理大量数据。Kubernetes是一个开源的容器管理平台，它可以自动化地管理和扩展应用程序的部署和运行。在大数据处理和分析场景中，将Spark与Kubernetes集成可以实现更高效、可扩展的
学习Spark遇到的问题
【报错】AttributeError: ‘SparkContext’ object has no attribute ‘setcheckpointDir’解决：将setcheckpointDir改成setCheckpointDir，其中c字母大写。是因为两个方法的传参不同导致。分析：SparkCon
SparkStreaming---DStream
用户自定义数据源需要继承 Receiver，并实现 onStart、onStop 方法来自定义数据源采集。//最初启动的时候，调用该方法，读数据并将数据发送给 Sparkreceive()}.start()///读数据并将数据发送给 Spark//创建Socket//创建变量用于接收端口穿过来的数据
Spark大数据分析与实战笔记（第三章 Spark RDD 弹性分布式数据集-02）
RDD经过一系列的“转换”操作，每一次转换都会产生不同的RDD，以供给下一次“转换”操作使用，直到最后一个RDD经过“行动”操作才会被真正计算处理，并输出到外部数据源中，若是中间的数据结果需要复用，则可以进行缓存处理，将数据缓存到内存中。需要注意的是，RDD采用了惰性调用，即在RDD的处理过程中，真
Apache Spark架构与特点
1.背景介绍Apache Spark是一个开源的大数据处理框架，由AMLLabs公司开发，后被Apache软件基金会所支持。它可以处理批量数据和流式数据，并提供了一个易用的编程模型，使得开发人员可以使用Scala、Java、Python等编程语言来编写程序。Spark的核心组件是Spark Stre
Python进阶知识：整理1 -＞ pySpark入门
Python进阶知识：整理1 -> pySpark入门: 1 编写执行入口；2 数据输入；3 数据计算；4 数据输出
hive 3.1.3 on spark 3.0.0 安装教程 (内附重新编译好的jar包)
一步一步教会你如何部署 hive 3.1.3 on spark 3.0.0，文章还提供了修改好的源码包~
大数据平台环境搭建---- Spark组件配置
Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集。参考文献：https://www.cnblogs.com/xupccc/p/9800380.html。复制Spark配置模板：cp spark-env.sh.template s
