Scala 环境搭建安装配置

Scala环境搭建安装配置

大数据Spark SparkSession的3种创建方式 Scala语言实现

大数据Spark SparkSession的3种创建方式 Scala语言实现

Flink安装部署(一)

Flink的三种安装部署方式

IDEA配置Spark运行环境

Preferences -> Plugins -> Browse Repositories -> 搜索 scala -> install。所在项目(点击右键) -> Add Framework Support…->选择 Scala->点击 OK。前提 :本地已安装Scala。安装Scala插件(在线

Windows系统运行pyspark报错:Py4JJavaError

import findsparkfindspark.init()#因为转载时间过长找不到spark所以报错

spark第四章:SparkSQL基本操作

接下来我们学习SparkSQL他和Hql有些相似。Hql是将操作装换成MR,SparkSQL也是,不过是使用Spark引擎来操作,效率更高一些SparkSQL的常用操作基本就这些,至于项目吗,下次专门在写一次吧。

Spark一些个人总结

随着大数据技术的发展,一些更加优秀的组件被提了出来,比如现在最常用的Spark组件,基于RDD原理在大数据处理中占据了越来越重要的作用。在此我们探索了Spark的原理,以及其在大数据开发中的重要作用。...

Spark——JDBC操作MySQL

在实际的企业级开发环境中,如果数据规模特S别大,此时采用传统的SQL语句去处理的话一般需要分成很多批次处理,而且很容易造成数据库服务宕机,且实际的处理过程可能会非常复杂,通过传统的Java EE等技术可能很难或者不方便实现处理算法,此时采用SparkSQL进行分布式分析处理就可以非常好的解决该问题,

spark:商品热门品类TOP10统计(案例)

品类是指产品的分类,大型电商网站品类分多级,一般为三级分类,此次项目中品类只有一级。不同的公司对热门的定义不一样。此次按照每个品类的点击---->下单---->支付的量来统计热门品类。先按照点击数排名,数量决定排名;点击数相同,比较下单数;下单数相同,比较支付数。...

spark期末考试选择题精选

spark选择题

Scala的基础语法(超详细版)

Scala的基础语法,每种编程语言都有一套自己的语法规范,Scala语言也不例外,同样也需要遵循一定的语法规范,本博客将针对Scala的基本语法进行介绍。

SparkSQL简单使用

Spark SQL是用来操作结构化和半结构化数据的接口。 当每条存储记录共用已知的字段集合,数据符合此条件时,Spark SQL就会使得针对这些数据的读取和查询变得更加简单高效。具体来说,Spark SQL提供了以下三大功能: (1) Spark SQL可以从各种结构化数据源(例如JSON、Parq

Spark学习总结

第1章 Spark 概述1.1 Spark是什么Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。主要用于数据计算,经常被认为是Hadoop框架的升级版。1.2 Spark 和Hadoop的缘分组成:Hadoop 是由Java语言编写的,部署在分布式服务器集群上,用于存储海量数据并

RDD的创建 头歌答案

RDD的创建 头歌答案

Spark项目实战—电商用户行为分析

利用spark分析电商用户行为

实验7 Spark初级编程实践

1.实验目的(1)掌握使用Spark访问本地文件和HDFS文件的方法(2)掌握Spark应用程序的编写、编译和运行方法2.实验平台(1)操作系统:Ubuntu18.04(或Ubuntu16.04);(2)Spark版本:2.4.0;(3)Hadoop版本:3.1.3。3.实验步骤(1)Spark读取

Flink 定时加载数据源

flink 自定义实时数据源使用流处理比较简单,比如 Kafka、MQ 等,如果使用 MySQL、redis 批处理也比较简单如果需要定时加载数据作为 flink 数据源使用流处理,比如定时从 mysql 或者 redis 获取一批数据,传入 flink 做处理,如下简单实现注意 flink 好多包

《Spark大数据技术与应用》肖芳 张良均著——课后习题

《Spark大数据技术与应用》肖芳 张良均著——课后习题

Flink第一章:环境搭建

Flink也是现在现在大数据技术中火爆的一门,反正大数据的热门技术学的也差不多了,啃完Flink基本的大数据技术就差不多哦学完了.Flink是做数据实时分析必不可少的技术,也要学习.

【李老师云计算】实验二:Spark集群的搭建与求解最大值

Spark配置及Scala实现100个随机数找最大值

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈