spark3.3.x处理excel数据
ps:刚开始用的3.3.3_0.20.1这个版本的不可用，具体报啥错忘了，降到3.3.1_0.18.5该版本正常。2、使用自定义schema（该方法如果excel文件第一行不是所需数据，需手动限制读取的数据范围）1、直接使用excel文件第一行作为schema。或项目里配置pom.xml。
spark的安装与部署
为了避免MapReduce框架中多次读写磁盘带来的消耗，以及更充分地利用内存，加州大学伯克利分校的AMP Lab提出了一种新的、开源的、类Hadoop MapReduce的内存编程模型Spark。一、spark是什么？Spark是一个基于内存的大数据并行处理框架，其最初由加州大学伯克利分校的AMP
Apache Spark 的基本概念和在大数据分析中的应用
Apache Spark 是一个基于内存的分布式计算框架，旨在处理大规模数据集。它通过提供高效的数据处理和分析功能，帮助用户快速处理大量数据，并提供实时和批量数据处理。在本文中，我们将探讨 Apache Spark 的基本概念以及在大数据分析中的应用。
hive on spark集群环境部署（彻底摆脱做毕设没环境）
hive on spark环境部署
基于Kylin的数据统计分析平台架构设计与实现
前言此项目是我在TP-LINK公司云平台部门做的一个项目，总体包括云上数据自动化统计流程的设计和组件的开发。目的是为了对云平台上的设备和用户数据做多维度的统计和分析，以及便于观察设备数据的历史趋势，让业务部门更好地做业务决策。整体的架构与数据流向如下图所示，采用Hive做数据仓库，使用Spark实现
2023_Spark_实验十六：编写LoggerLevel方法及getLocalSparkSession方法
掌握基于IDEA开发Spark项目的配置，依赖管理，编写LoggerLevel方法及getLocalSparkSession方法
如何在spark中使用scikit-learn和tensorflow等第三方python包
这个参数的目的是告诉Spark应用程序在YARN的主节点上使用特定的Python解释器，即./python37/python37/bin/python3.7。这个参数的目的是将名为python37.zip的压缩文件解压到YARN集群节点，并将其路径设置为python37，以供Spark应用程序使用。
大数据毕业设计选题推荐-超级英雄运营数据监控平台-Hadoop-Spark-Hive
随着信息技术的快速发展，尤其是移动游戏的广泛普及，游戏运营数据监控平台在游戏产业中的角色变得越来越重要。本课题基于这一背景，旨在开发一个针对Hyper Heroes游戏的运营数据监控平台，以提高游戏的运营效率，优化用户体验，并实现精细化运营。当前，游戏的运营数据监控主要面临以下问题：一是数据采集不全
Spark读取Excel文件
1、将excel转成csv文件，spark读取csv，生成数据帧；2、直接读取excel文件，生成数据帧；3、编写spark程序，直接读取excel文件，生成数据帧
【Spark】What is the difference between Input and Shuffle Read
保持每个task的 input + shuffle read 量在300-500M左右比较合适。Spark调参过程中。
Spark优化大全总结含泪实操,含数据格式/数据倾斜/算子优化/Join优化/参数调优等
Spark优化总结大全,含数据格式/数据倾斜/算子优化/Join优化/参数调优等,spark任务重RDD持久化数据在Executor内存中占用比例为60%,当数据量较大内存放不下时,就会溢写到磁盘,如果spark任务中有较多需持久化的RDD,建议调大此参,避免内存不足时数据只能写磁盘的情况.若没有或
Apache Spark 的基本概念和在大数据分析中的应用
它可以用于处理结构化数据、半结构化数据和非结构化数据，并可以从多个数据源集成数据。这使得它成为处理大规模数据的理想平台。Spark SQL：Spark SQL是用于在Spark中处理结构化数据的特殊模块。Apache Spark是一种快速、分布式的计算引擎，具有高度的可扩展性，能够以高效的方式处理大
【Spark】配置参数关系-重要
eg：资源配置10个Executor节点，每个节点2个Core，那么同一时间可以并行计算的task数为20，如果RDD有2个分区，那么计算时只使用2个Core，其余18个Core空转，浪费资源，每个Executor中的一个Core（线程，虚拟核数）同时只能执行一个Task，所以Spark调优中会通过
大数据之使用Spark增量抽取MySQL的数据到Hive数据库（2）
本题来源于2022 年全国职业院校技能大赛（高职组）“大数据技术与应用”赛项（电商）- 离线数据处理 - 数据抽取数据处理需要灵活的使用sql函数或者spark相关函数对数据进行处理，但思路总体上一样。对于数据处理，还需要掌握好一些非常见但是又很使用的函数。可以与大数据之使用Spark增量抽取M
2023_Spark_实验十五：自定义法创建Dataframe及SQL操作
基于Spark 中样例类，隐式转换，使用Spark Core API生成RDD，将RDD转换为DataFrame，并将其注册成临时表，使用Spark SQL API分析数据
Scala文件操作
Scala按行读取,Scala使用source.buffered方法按字符读取文件,Scala使用java.io.PrintWriter类,使用java.io.FileWriter类,使用java.io.FileOutputStream类, Scala序列化和反序列化
分布式内存计算Spark环境部署与分布式内存计算Flink环境部署
Spark是一款分布式内存计算引擎，可以支撑海量数据的分布式计算。Spark在大数据体系是明星产品，作为最新一代的综合计算引擎，支持离线计算和实时计算。在大数据领域广泛应用，是目前世界上使用最多的大数据分布式计算引擎。我们将基于前面构建的Hadoop集群，部署Spark Standalone集群。
Spark 增量抽取 Mysql To Hive
【代码】Spark 增量抽取 Mysql To Hive。
Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决
Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决
