基于Kylin的数据统计分析平台架构设计与实现
前言此项目是我在TP-LINK公司云平台部门做的一个项目，总体包括云上数据自动化统计流程的设计和组件的开发。目的是为了对云平台上的设备和用户数据做多维度的统计和分析，以及便于观察设备数据的历史趋势，让业务部门更好地做业务决策。整体的架构与数据流向如下图所示，采用Hive做数据仓库，使用Spark实现
2023_Spark_实验十六：编写LoggerLevel方法及getLocalSparkSession方法
掌握基于IDEA开发Spark项目的配置，依赖管理，编写LoggerLevel方法及getLocalSparkSession方法
如何在spark中使用scikit-learn和tensorflow等第三方python包
这个参数的目的是告诉Spark应用程序在YARN的主节点上使用特定的Python解释器，即./python37/python37/bin/python3.7。这个参数的目的是将名为python37.zip的压缩文件解压到YARN集群节点，并将其路径设置为python37，以供Spark应用程序使用。
大数据毕业设计选题推荐-超级英雄运营数据监控平台-Hadoop-Spark-Hive
随着信息技术的快速发展，尤其是移动游戏的广泛普及，游戏运营数据监控平台在游戏产业中的角色变得越来越重要。本课题基于这一背景，旨在开发一个针对Hyper Heroes游戏的运营数据监控平台，以提高游戏的运营效率，优化用户体验，并实现精细化运营。当前，游戏的运营数据监控主要面临以下问题：一是数据采集不全
Spark读取Excel文件
1、将excel转成csv文件，spark读取csv，生成数据帧；2、直接读取excel文件，生成数据帧；3、编写spark程序，直接读取excel文件，生成数据帧
【Spark】What is the difference between Input and Shuffle Read
保持每个task的 input + shuffle read 量在300-500M左右比较合适。Spark调参过程中。
Spark优化大全总结含泪实操,含数据格式/数据倾斜/算子优化/Join优化/参数调优等
Spark优化总结大全,含数据格式/数据倾斜/算子优化/Join优化/参数调优等,spark任务重RDD持久化数据在Executor内存中占用比例为60%,当数据量较大内存放不下时,就会溢写到磁盘,如果spark任务中有较多需持久化的RDD,建议调大此参,避免内存不足时数据只能写磁盘的情况.若没有或
Apache Spark 的基本概念和在大数据分析中的应用
它可以用于处理结构化数据、半结构化数据和非结构化数据，并可以从多个数据源集成数据。这使得它成为处理大规模数据的理想平台。Spark SQL：Spark SQL是用于在Spark中处理结构化数据的特殊模块。Apache Spark是一种快速、分布式的计算引擎，具有高度的可扩展性，能够以高效的方式处理大
【Spark】配置参数关系-重要
eg：资源配置10个Executor节点，每个节点2个Core，那么同一时间可以并行计算的task数为20，如果RDD有2个分区，那么计算时只使用2个Core，其余18个Core空转，浪费资源，每个Executor中的一个Core（线程，虚拟核数）同时只能执行一个Task，所以Spark调优中会通过
大数据之使用Spark增量抽取MySQL的数据到Hive数据库（2）
本题来源于2022 年全国职业院校技能大赛（高职组）“大数据技术与应用”赛项（电商）- 离线数据处理 - 数据抽取数据处理需要灵活的使用sql函数或者spark相关函数对数据进行处理，但思路总体上一样。对于数据处理，还需要掌握好一些非常见但是又很使用的函数。可以与大数据之使用Spark增量抽取M
2023_Spark_实验十五：自定义法创建Dataframe及SQL操作
基于Spark 中样例类，隐式转换，使用Spark Core API生成RDD，将RDD转换为DataFrame，并将其注册成临时表，使用Spark SQL API分析数据
Scala文件操作
Scala按行读取,Scala使用source.buffered方法按字符读取文件,Scala使用java.io.PrintWriter类,使用java.io.FileWriter类,使用java.io.FileOutputStream类, Scala序列化和反序列化
分布式内存计算Spark环境部署与分布式内存计算Flink环境部署
Spark是一款分布式内存计算引擎，可以支撑海量数据的分布式计算。Spark在大数据体系是明星产品，作为最新一代的综合计算引擎，支持离线计算和实时计算。在大数据领域广泛应用，是目前世界上使用最多的大数据分布式计算引擎。我们将基于前面构建的Hadoop集群，部署Spark Standalone集群。
Spark 增量抽取 Mysql To Hive
【代码】Spark 增量抽取 Mysql To Hive。
Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决
Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决
Spark Scala大数据编程实例
初步介绍scala，下载安装配置spark和scala，运行spark scala版本实例
大数据学习之Spark性能优化
大数据学习之Spark性能优化
企业spark案例 —— 出租车轨迹分析(Python)
企业spark案例 —— 出租车轨迹分析(Python)
Spark任务优化分析
如果是sql 任务进入到 SQL 页面看到 对应的执行卡在哪里，然后分析，如下图是hash id、actor_name，可以看到是group by 数据有倾斜。group by 数据倾斜问题，可以参考hive group by 数据倾斜问题同样处理思路。首先需要掌握 Spark DAG、stage、
