Scala 环境搭建安装配置
Scala环境搭建安装配置
大数据Spark SparkSession的3种创建方式 Scala语言实现
大数据Spark SparkSession的3种创建方式 Scala语言实现
Flink安装部署(一)
Flink的三种安装部署方式
IDEA配置Spark运行环境
Preferences -> Plugins -> Browse Repositories -> 搜索 scala -> install。所在项目(点击右键) -> Add Framework Support…->选择 Scala->点击 OK。前提 :本地已安装Scala。安装Scala插件(在线
Windows系统运行pyspark报错:Py4JJavaError
import findsparkfindspark.init()#因为转载时间过长找不到spark所以报错
spark第四章:SparkSQL基本操作
接下来我们学习SparkSQL他和Hql有些相似。Hql是将操作装换成MR,SparkSQL也是,不过是使用Spark引擎来操作,效率更高一些SparkSQL的常用操作基本就这些,至于项目吗,下次专门在写一次吧。
Spark一些个人总结
随着大数据技术的发展,一些更加优秀的组件被提了出来,比如现在最常用的Spark组件,基于RDD原理在大数据处理中占据了越来越重要的作用。在此我们探索了Spark的原理,以及其在大数据开发中的重要作用。...
Spark——JDBC操作MySQL
在实际的企业级开发环境中,如果数据规模特S别大,此时采用传统的SQL语句去处理的话一般需要分成很多批次处理,而且很容易造成数据库服务宕机,且实际的处理过程可能会非常复杂,通过传统的Java EE等技术可能很难或者不方便实现处理算法,此时采用SparkSQL进行分布式分析处理就可以非常好的解决该问题,
spark:商品热门品类TOP10统计(案例)
品类是指产品的分类,大型电商网站品类分多级,一般为三级分类,此次项目中品类只有一级。不同的公司对热门的定义不一样。此次按照每个品类的点击---->下单---->支付的量来统计热门品类。先按照点击数排名,数量决定排名;点击数相同,比较下单数;下单数相同,比较支付数。...
spark期末考试选择题精选
spark选择题
Scala的基础语法(超详细版)
Scala的基础语法,每种编程语言都有一套自己的语法规范,Scala语言也不例外,同样也需要遵循一定的语法规范,本博客将针对Scala的基本语法进行介绍。
SparkSQL简单使用
Spark SQL是用来操作结构化和半结构化数据的接口。 当每条存储记录共用已知的字段集合,数据符合此条件时,Spark SQL就会使得针对这些数据的读取和查询变得更加简单高效。具体来说,Spark SQL提供了以下三大功能: (1) Spark SQL可以从各种结构化数据源(例如JSON、Parq
Spark学习总结
第1章 Spark 概述1.1 Spark是什么Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。主要用于数据计算,经常被认为是Hadoop框架的升级版。1.2 Spark 和Hadoop的缘分组成:Hadoop 是由Java语言编写的,部署在分布式服务器集群上,用于存储海量数据并
RDD的创建 头歌答案
RDD的创建 头歌答案
Spark项目实战—电商用户行为分析
利用spark分析电商用户行为
实验7 Spark初级编程实践
1.实验目的(1)掌握使用Spark访问本地文件和HDFS文件的方法(2)掌握Spark应用程序的编写、编译和运行方法2.实验平台(1)操作系统:Ubuntu18.04(或Ubuntu16.04);(2)Spark版本:2.4.0;(3)Hadoop版本:3.1.3。3.实验步骤(1)Spark读取
Flink 定时加载数据源
flink 自定义实时数据源使用流处理比较简单,比如 Kafka、MQ 等,如果使用 MySQL、redis 批处理也比较简单如果需要定时加载数据作为 flink 数据源使用流处理,比如定时从 mysql 或者 redis 获取一批数据,传入 flink 做处理,如下简单实现注意 flink 好多包
《Spark大数据技术与应用》肖芳 张良均著——课后习题
《Spark大数据技术与应用》肖芳 张良均著——课后习题
Flink第一章:环境搭建
Flink也是现在现在大数据技术中火爆的一门,反正大数据的热门技术学的也差不多了,啃完Flink基本的大数据技术就差不多哦学完了.Flink是做数据实时分析必不可少的技术,也要学习.
【李老师云计算】实验二:Spark集群的搭建与求解最大值
Spark配置及Scala实现100个随机数找最大值