大数据开发语言Scala（一）——scala入门
package： 包，等同于java中的packageobject：关键字，声明一个单例对象（伴生对象）main方法：从外部可以直接调用执行的方法def 方法名称( 参数名称 : 参数类型 ) : 返回值类型 = { 方法体 }Scala 完全面向对象，故scala去掉了Java中非面向对象的元
【李老师云计算】实验二：Spark集群的搭建与求解最大值
Spark配置及Scala实现100个随机数找最大值
2023年Spark大数据处理讲课笔记
scala、spark、spark rdd、spark sql、spark streaming
SparkLaunch提交Spark任务到Yarn集群
SparkLaunch提交Spark任务到Yarn集群
spark考试（练习题）
spark考试（练习题）
spark和Mapreduce的对比
1.spark和Mapreduce的简单介绍MapReduce：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分
Apache Kyuubi入门与使用
kyuubi入门使用教程
【即时通信】openfire安装和配置讲解
这里选择spark_2_8_3.exe，它自带了一个jre运行环境，因为spark_2_8_3_online.exe默认是32位jre运行环境，64位机器需要指定一个32位jre，不推荐这种方式安装。登录的时候需要设置一下服务器信息，另外，如果登录失败，报certificate_unkown，需要设
使用Python开发spark
spark
基于前置搭建的 Hbase 环境上配置 Spark 开发环境
Spark 集群部署采用 yarn 模式进行资源调度管理，这样部署更加简单，因 Hadoop 在之前已经进行集群安装，Spark 是提交 jar 到 yarn 中进行运行，只需要在任意一台中安装 Spark 客户端即可，而又因为是集群模式可能导致作业在未安装 Spark 的节点上运行，推荐的做法是上
记安装pyspark遇到问题已经解决问题的全过程
Could not fetch URL https://pypi.org/simple/pip/: There was a problem confirm
Spark机器学习解析
Spark机器学习的介绍，以及对聚类、回归、协同过滤和分类的实践
RDD简介
RDD概念RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，是spark core的底层核心，它代表一个不可变、可分区、里面的元素可并行计算的集合。Dataset:就是一个集合，存储很多数据.Distributed：它内部的元素
详解RDD基本概念、RDD五大属性
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD是spark core的底层核心。Dataset:RDD 可以不保存具体数据, 只保留创建自己的必备信息, 例如依赖和
RDD转换为DataFrame
spark官方提供了两种方法实现从RDD转换到DataFrame。第一种方法是利用反射机制来推断包含特定类型对象的Schema，这种方式适用于对已知的数据结构的RDD转换；第二种方法通过编程接口构造一个 Schema ，并将其应用在已知的RDD数据中。（一）反射机制推断Schema在Windows系
一百零六、Hive312的计算引擎由MapReduce(默认)改为Spark（亲测有效）
Hive312的计算引擎由MapReduce(默认)改为Spark
实验SparkSQL编程初级实践
实验SparkSQL编程初级实践-Spark SQL 基本操作-将RDD转换为DataFrame-利用DataFrame读写MySQL的数据
【大数据技术】Spark-SQL如何连接MySQL并进行读写数据
【大数据技术】spark SQL如何连接MySQL并读取数据
SparkCore对学生成绩的统计案例
SparkCore对学生成绩的统计案例根据数据文件对数据进行分析，完成如下功能：（1）查询学生成绩表中的前5名；（2）输出单科成绩为100分的学生ID；（3）输出每位学生所有科目的总成绩。
《Spark编程基础Scala版》第一章习题答案
在物理上HBase其实是按CF存储的，只是按照Row-key将相关CF中的列关联起来Hbase对数据的存储方式和数据结构进行的修改和规整（K-V形式），使其更加善于去处理大数据的场景，此在Hadoop MapReduce运行计算时能够提供更好的底层支持。因此，在许多企业实际应用中，Hadoop和Sp
