大数据处理（选修）实验课：实验二 Spark Streaming实验
通过编写和执行基于Spark Streaming编程模型的wordcount程序，深入理解Spark Streaming的工作原理，并学会使用Spark框架进行大规模数据处理。
Spark SQL 多数据源操作（Scala）
文件中会对列加入统计信息: 包括列的 max, min, sum 等, 因此可以在 sql 查询时进行 RBO 中的谓词下推。本关任务：根据编程要求，完善程序，实现 Spark SQL 读取 ORC 格式的 Hive 数据表。本关任务：根据编程要求，编写 Spark 程序读取指定数据源，完成 Par
Spark大数据 Spark运行架构与原理
Spark大数据的运行架构与原理可以概括为以下几个方面：一、运行架构二、核心原理Spark的核心原理是将数据分散到多台计算机上并在这些计算机上并行执行计算任务，从而实现高效的数据处理和分析。
Spark--Scala基础知识总结（第二章）
了解数据类型Scala常用数据类型数据类型描述Int32位有符号补码整数。数值区间为−3276832767Float32位IEEE754IEEE浮点数算术标准）单精度浮点数Double64位IEEE754IEEE浮点数算术标准）双精度浮点数String字符序列，即字符串Boolean布尔值，true
Hadoop伪分布式安装
2 查看Linux是否安装java jdk如果查询有其他java版本，则需要卸载rpm -e --nodeps 查询的包名3.cd至上传目录tar 指令解压:tar -zxvf jdk-8u361-linux-x64.tar.gz重命名为jdk（方便配置环境变量）mv jdk1.8.0_361/ j
IDEA的Scala环境搭建
第一个问题肯定是，scala是什么Scala是一门以Java虚拟机（JVM）为运行环境并将面向对象和函数式编程的最佳特性结合在一起的 静态类型编程语言（静态语言需要提前编译的如：Java、c、c++等，动态语言如：js）。Scala是一门多范式的编程语言，Scala支持面向对象和函数式编程。（多范式
Scala应用 —— JDBC的创建
用Scala实现JDBC的创建
使用Intellij idea编写Spark应用程序(Scala+Maven)
对Scala代码进行打包编译时，可以采用Maven，也可以采用sbt，相对而言，业界更多使用sbt。这里介绍IntelliJ IDEA和Maven的组合使用方法。IntelliJ IDEA和SBT的组合使用方法，请参考“使用Intellij Idea编写Spark应用程序（Scala+SBT）”。
孙悟空被压500年也想不出看文档瞬间就会scala和spark以及hadoop
export HADOOP_CONF_DIR=/usr/local/src/hadoop/etc/hadoop #指定hadoop路径。解压tar -zxvf /opt/software/hadoop-2.7.1.tar.gz -C /usr/local/src。export HADOOP_HOME
Scala基础语法
变量定义，基本数据类型，块表达式，循环，在Scala里面，任何数据皆是对象，所有算数运算符都是方法
Spark--Scala基础知识总结(第二章)
Scala会区分不同类型的值，并且会基于使用值的方式确定最终结果的数据类型，这称为类型推断Scala使用类型推断可以确定混合使用数据类型时最终结果的数据类型如在加法中混用Int和Double类型时，Scala将确定最终结果为Double类型，如下图常量在程序运行过程中值不会发生变化的量为常量或值，常
Flink保姆级教程,超详细,教学集成多个第三方工具(从入门到精通)
Flink 允许你通过实现接口来创建自定义数据源。// 定义一个自定义数据源Thread.sleep(1000) // 模拟数据生成延迟// 创建执行环境// 添加自定义数据源// 打印数据流// 启动 Flink 作业以上示例展示了如何在 Scala 中使用 Flink DataStream AP
Spark-机器学习（1）什么是机器学习与MLlib算法库的认识
从这一系列开始，我会带着大家一起了解我们的机器学习，了解我们spark机器学习中的MLIib算法库，知道它大概的模型，熟悉并认识它。同时，本篇文章为个人spark免费专栏的系列文章，有兴趣的可以收藏关注一下，谢谢。同时，希望我的文章能帮助到每一个正在学习的你们。也欢迎大家来我的文章下交流讨论，共同进
Spark-机器学习（7）分类学习之决策树
今天的文章，我们来学习分类学习之决策树，并带来简单案例，学习用法。希望大家能有所收获。同时，希望我的文章能帮助到每一个正在学习的你们。也欢迎大家来我的文章下交流讨论，共同进步。
Spark-Scala语言实战（18）SQL-DataFrame方法
这篇文章我会带着大家学习Spark SQL中的DataFrame中show()，selectExpr()，select()，filter()/where，groupBy()，sort()6种方法。了解Spark SQL以及DataFrame。希望我的文章能帮助到大家，也欢迎大家来我的文章下交流讨论，
今天来认识一下无聊的spark和scala基础理知识
Spark 应用程序计算的整个过程可以调用不同的组件，如 Spark Streaming 的实时流处理应用、SparkSQL的即席查询、BlinkDB 的权衡查询、MLlib/MLBase 的机器学习、GraphX的图处理和SparkR的数学计算等。Scala 是一种纯粹的面向对象的语言，每个值都是
IDEA软件中Scala配置安装教程（Spark计算环境搭建）
在com.atguigu.bigdata.spark.core 创建Scala class，命名为：Test ，选择object。在Java创建 new package，命名为：com.atguigu.bigdata.spark.core。print（“hello world”）进行验证，之后进行运
spark和scala环境安装与部署，有手就行
source /etc/profile使环境变量生效，接着scala -version查看是否安装成功，出现画线版本号即为成功。解压安装包 tar -zxvf /opt/scala2.12.12.tgz -C /opt/9.查看spark是否安装成功 返回主目录下输入spark-submit -
Spark-Scala语言实战（11）
今天开始的文章，我会带给大家如何在spark的中使用我们的键值对方法，今天学习键值对方法中的join,rightOuterJoin,leftOuterJoin三种方法。希望我的文章能帮助到大家，也欢迎大家来我的文章下交流讨论，共同进步。
Spark-Scala语言实战（13）
今天开始的文章，我会带给大家如何在spark的中使用我们的键值对方法，今天学习键值对方法中的fullOuterJoin，zip，combineByKeyy三种方法。希望我的文章能帮助到大家，也欢迎大家来我的文章下交流讨论，共同进步。
