pyspark自定义UDF函数
当遇到一些复杂特殊的计算场景时，只通过pyspark的内置函数无法达到我们想要实现的效果，此时，可通过自定义函数然后注册为UDF函数，就能够很好的解决复杂计算场景问题，且计算效率非常快速。计算5000多万数据，仅需一分钟不到，效率非常高。
【图解大数据技术】流式计算：Spark Streaming、Flink
Flink 和 Spark Streaming 不一样，Flink 一开始设计就是为了做实时流式计算的。它可以监听消息队列获取数据流，也可以用于计算存储在 HDFS 等存储系统上的数据（Flink 把 这些静态数据当做数据流来进行处理）。然后 Flink 计算后生成的结果流，也可以发送到其他存储系统
Spark累加器、广播变量、案例需求
很自然地想到组合rdd的算子join，但是join只能组合相同的key，如果一个商品只有点击没有下单，那么使用join是不会出现在最终结果的，同理leftOuterJoin和rightOuterJoin也是类似的，不能实现相应的功能。1）已经从原始日志文件中读出了商品的点击数量rdd、下单数量rdd
【Spark】【翻译】RDD Programming Guide
Spark官方文档翻译系列，RDD编程指南（RDD Programming Guide）
大数据处理：大数据处理框架Hadoop、Spark
大数据处理是当代信息技术领域的一个重要分支，它涉及到海量数据的存储、管理和分析。为了高效地应对大数据处理的挑战，多种框架被开发出来，其中Hadoop和Spark是最为知名和广泛应用的两种。以下将详细介绍这两种框架以及它们在大数据处理中的应用和优势。
【毕业设计】基于Spark的在线音乐平台设计与实现
SpringBoot是一个开源的轻量级框架。它基于约定优于配置的原则，减少开发人员编写样板化配置的需求，从而提高开发效率和项目周期。SpringBoot不是用来替代Spring框架的解决方案，而是与之紧密结合，提升开发者体验的工具。SpringBoot的特点包括：创建独立的Spring应用程序：允许
Spark 作业的 commit 提交机制 - Spark并发更新ORC表失败的问题原因与解决方法
该问题的原因是spark不支持对同一张ORC/PARQUET非分区表或ORC/PARQUET分区表的同一个分区的并发更新，甚至也不支持以静态分区模式并发更新 ORC/PARQUET分区表的不同分区，其底层细节跟 spark作业两阶段提交机制的实现算法有关，详情见后文。
Apache Spark：SparkGraphX图数据处理技术教程
SparkGraphX 是 Apache Spark 中用于图数据处理和图算法执行的模块。它提供了高效、灵活的图并行计算框架，适用于大规模图数据集的分析。通过理解 SparkGraphX 的核心概念和算法，你可以开始在你的大数据项目中应用图计算技术。请注意，上述代码示例和配置假设你已经熟悉 Spar
spark 动态资源分配dynamicAllocation
动态资源分配，主要是spark在运行中可以相对合理的分配资源。
spark常见面试题
首先会为最后 一个 RDD 创建一个 Stage，然后继续倒推，如果发现对某个 RDD 是宽依赖，那 么就会将宽依赖的那个 RDD 创建一个新的 Stage，那个 RDD 就是新的 Stage的最后一个 RDD。Spark streaming 内部的基本工作原理是：接受实时输入数据流，然后将数据拆
大数据核心面试题（Hadoop，Spark，YARN）
Hadoop是一个用于存储和处理大规模数据集的开源框架。用于分布式存储数据。用于分布式数据处理的计算框架。用于资源管理和作业调度。回答：负责管理HDFS的元数据，包括文件目录结构、文件到块的映射以及每个块的副本位置。它是HDFS的单点故障。负责存储实际的数据块，并定期向NameNode报告其存储的块
摸鱼大数据——Spark SQL——Spark on Hive部署
spark.sql("""insert into spark_demo.stu values(1,'张三'),(2,'李四')""")spark-sql>insert into spark_demo.stu values(1,'张三'),(2,'李四');（1）检查hive中 hive-site
【Spark快速大数据分析】四、键值对操作 - Pair RDD的转化操作
键值对：rdd ={(1,2), (3,4), (3,6)};other={(3,9)}在为每个键计算全局的总结果之前，先自动在每台机器上进行本地合并，
Spark SQL的基础知识
Spark SQL是一个用于结构化数据处理的Spark组件。所谓结构化数据，是指具有Schema信息的数据，例如JSON、Parquet、Avro、CSV格式的数据。与基础的Spark RDD API不同，Spark SQL提供了对结构化数据的查询和计算接口。将SQL查询与Spar
Spark原理之Cache Table的工作原理及实现自动缓存重复Table Scan的思考
CACHE TABLE，可以让用户自定义要缓存的结果集，实际上就是一个临时表，不过数据存储在Spark集群内部，由Application所分配的executors管理。一旦定义了一个缓存表，就可以在SQL脚本中随处引用这个表名，提高数据检索速度，同时也会资源不必要的资源开销。
大数据学习-Spark
大数据学习-Spark1.Spark-core1.Demo1WordCountpackage com.shujia.coreimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/* RDD:
Spark SQL基础
Spark SQL是一个用于结构化数据处理的Spark组件。所谓结构化数据，是指具有Schema信息的数据，例如JSON、Parquet、Avro、CSV格式的数据。与基础的Spark RDD API不同，Spark SQL提供了对结构化数据的查询和计算接口。将SQL查询与Spar
Spark实时（五）：InputSource数据源案例演示
实时监控json格式数据时，创建的Schema 中的字段需要与Json中的属性保持一致，否则在映射成表时，Schema中含有但在Json中没有的属性的字段对应的数据会为null。以上代码编写完成之后，向监控的目录“./data”中不断写入含有以下内容的文件，可以看到控制台有对应的流数据输出，这里一定
Spark中的JOIN机制
Apache Spark共提供了五种JOIN机制，其中常用的有三种：Shuffle Hash Join、Broadcast Hash Join及Sort Merge Join，它们都基于Hash Join，只不过需要在Hash Join前后进行Shuffle、Broadcast或Sort实际上，Ha
spark资源分配
Job 一个 action 算子一个job（save、collect 等）Stage Stage 调度的最小单元，Stage 的划分会产生shuffle。一个Job 由一个或多个StageTask 执行的最小单元，一个 Stage 由一个或多个 Task 组成Parallelism 一个task 就
