hive 、spark 、flink之想一想
1：hive是怎么产生的？Hive是由Facebook开发的，目的是让拥有SQL知识的分析师能够在Hadoop上进行数据查询。Hive提供了类SQL的查询语言HiveQL，通过将HiveQL查询转换为MapReduce任务来在Hadoop上处理大规模数据。2：hive的框架是怎么样的？3：hive
用Spark在大数据平台DataBricks轻松处理数据
Apache Spark是一个强大的开源分布式计算系统，专为大规模数据处理而设计。而DataBricks则提供了一个基于云的环境，使得在Spark上处理数据变得更加高效和便捷。本文将介绍如何在DataBricks平台上使用Spark轻松处理大数据。DataBricks是一个基于云的大数据处理平台，它
Spark重温笔记（五）：SparkSQL进阶操作——迭代计算，开窗函数，结合多种数据源，UDF自定义函数
1-定义series函数2-pandas_udf自定义函数和类型，或者@pandas_udf3-将series数据源转化为dataframe格式import os# 当存在多个版本时，不指定很可能会导致出错print("普通的集合的基本series相乘：")# 提出问题：如果使用上面的方式仅仅可以处
Spark-Scala语言实战（7）
今天开始的文章，我会带给大家如何在spark的中使用我们的RDD方法，今天学习RDD方法中的map,sortby,collect三种方法。希望我的文章能帮助到大家，也欢迎大家来我的文章下交流讨论，共同进步。
Spark概述
spark是新一代轻量级大数据处理平台。
高冷学霸给我送了一周早餐竟是为了...我的Spark笔记？！！
速度快：由于ApacheSpark支持内存计算，并且通过DAG（有向无环图）执行引擎支持无环数据流，所以官方宣称其在内存中的运算速度要比Hadoop的MapReduce快100倍，在硬盘中要快10倍易使用：Spark的版本已经更新到了Spark3.1.2（截止日期2021.06.01），支持了包括J
【笔记】RDD算子操作（Spark基础知识）
Spark基础知识、RDD操作笔记
Spark—GraphX实战 OneID
ID Mapping 是OneID 的提前，OneID 是ID Mapping 的结果，所以要想做OneID必须先做ID MappingOneID 是为了打通整个数据体系的数据，所以OneID 需要以服务的方式对外提供服务，在数仓里面就是作为基础表使用，对外的话我们就需要提供接口对外提供服务。
hadoop集群搭建、spark集群搭建、pyspark搭建（linux+window）
linux和window上安装pyspark库。
Spark-Scala语言实战（6）
今天我会给大家带来如何在IDEA中导入jars包，以及使用SparkRDD，并正确使用它们同时也会给大家讲解一道实训题例。希望在本篇文章中，大家有所收获。也欢迎朋友们到评论区下一起交流学习，共同进步。
Spark读写MySQL数据库
使用Spark读写MySQL数据
Spark Map 和 FlatMap 的比较
本节将介绍Spark中map(func)和两个函数的区别和基本使用。
从零开始学习Spark大数据技术与应用
Spark是一种快速、通用、可扩展的大数据分析引擎，项目是用Scala进行编写。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLib、SparkR等子项目，Spark是基于内存计算的大数据并行计算框架。除了扩展
实时数据处理的流式计算框架：Apache Spark Streaming 与 Apache Flink 的实践
1.背景介绍随着互联网的普及和大数据时代的到来，实时数据处理变得越来越重要。实时数据处理技术可以帮助企业更快地响应市场变化，提高业务效率，提升竞争力。在大数据处理领域，流式计算是一个重要的技术，它可以实时处理大量数据，并在数据到达时进行分析和处理。Apache Spark Streaming 和 A
Pulsar 社区周报 | No.2024.03.08 Pulsar-Spark Connector 助力实时计算
关于ApachePulsarApache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。Gi
Spark实战-基于Spark日志清洗与数据统计以及Zeppelin使用
基于spark的数据清洗与统计，以及Zeppelin的配置与使用
基于 Spark 的电商用户行为分析系统
基于Spark的电商用户行为数据分析
Spark---创建DataFrame的方式
5、DataFrame是一个Row类型的RDD，df.rdd()/df.javaRdd()。3、DataFrame原生API可以操作DataFrame。4、注册成临时表时，表中的列默认按ascii顺序显示列。2、df.show()默认显示前20行数据。ErrorIfExists：如果存在就报错。1、
Spark_spark shell退出方式
本文介绍了四种退出Spark Shell的方式：使用退出命令、使用Ctrl+D组合键、使用系统命令和结束Shell进程。这些方式都可以有效地退出Spark Shell，并释放资源。在使用Spark Shell时，我们可以根据实际需求选择合适的退出方式。遵循良好的退出习惯，可以提高工作效率，同时避免资
Spark搭建日志，记录一些踩过的坑
本文记录在搭建hadoop与Spark的standalone模式中踩过的坑，有一定的借鉴作用
