添加spark的相关依赖和打包插件(第六弹)
可以看到计算出的单词频数itcast(1)Hadoop(1)spark(1)hello(3)可以看到计算出的单词频数itcast(1)Hadoop(1)spark(1)hello(3)
IDLE开发wordCount程序(第五弹)
以本地模式执行spark程序
搭建Spark开发环境
spark集群基础环境配置:export SCALA_HOME=/opt/module/scala-2.11.8export PATH=$PATH:$SCALA_HOME/bin环境配置:export SCALA_HOME=/opt/module/scala-2.11.8export PATH=$P
Scala的数据结构(步入家门)
Scala中的数组分为定长数组和变长数组,这两种数组的定义方式如下newArray[T](数组长度)//定义定长数组//定义变成数组。
【Spark】scala基础操作(持续更新)
scala基础教程(面向对象、函数式编程、静态类型等等特点),附带基础简单的栗子
林子雨spark scala版编程小结
spark编程题
一零一一、import spark.implicits._写完立即消失
import spark.implicits._写完立即消失
DStream窗口操作
DStream窗口操作
DStream转换操作
DStream转换操作
关于《微型 Lisp 解释器的构造与实现》
《微型 Lisp 解释器的构造与实现》已经正式出版销售。这本书,是我这几年业余时间学习和探索的一个总结,书中介绍了 Parsec 组合子在 Java 和 Scala 项目中的用法和实现原理。
Spark RDD案例:词频统计
经典案例 - 词频统计(本地运行,打包上传到集群上运行)
重学scala:scala函数式编程与高阶函数
谈到编程方式有指令式编程、过程化编程、函数式编程,函数式编程在使用时主要的思想就是把运算过程写成一些列嵌套的函数调用。把一组数据通过函数实现运算转化成另一组数据。函数式编程这种方式在我们将来开发Spark、Flink的业务代码时会大量使用。下面列出了一些我们经常使用的进行函数式编程的Iterable
重学scala:scala中的变量、方法、函数
文章目录简介1、 scala中声明变量2、惰性变量3、基本数据类型4、scala类型层次结构5、scala中的条件表达式6、scala方法的重载7、scala中的块表达式8、循环1、for循环2、while循环9、方法和函数1、方法2、函数3、方法和函数的区别4、方法转换为函数提示:代码实例重点在于
flink的standalone模式环境搭建
一.standalone模式所有的资源都由flink自己管理flink的jar包:flink-1.11.2-bin-scala_2.11.tgz把安装包放到linux中bin #服务或命令conf #配置文件examples #实例,案例lib #jar包log #日志1.解压缩tar -xz
【BigData】Scala语言的简要介绍以及在window下安装Scala
Spark是专为大规模数据处理而设计的快速通用的计算引擎,它是用Scala语言开发实现的。大数据技术本身就是数据计算的技术,而Scala既有面向对象组织项目工程的能力,又具备计算数据的功能,同时与Spark 紧密集成。一、Scala概述Scala于2001年由瑞士洛桑联邦理工学院(EPFL)编程方法
Scala编程实战 —— 一文学会编码大数据基础案例wordcount
使用scala编写代码实现spark的基础案例 WordCountwordcount是所有大数据框架都基本要做的案例,使用scala编写的wordcount代码对比hadoop更简洁更易写这主要是对scala集合中功能函数的熟悉与使用
内存数据库究竟是如何发挥内存优势的?
内存数据库?
SparkStreaming--scala
第1关:QueueStream本关任务:编写一个清洗QueueStream数据的SparkStreaming程序。 import java.text.SimpleDateFormat import java.util.Date import org.apache.spark.{Ha
传Livy闭包head of empty list报错排查步骤
传Livy闭包head of empty list报错排查步骤。在调用livy Job任务闭包的时候,闭包中不要传入scala的List类型实例(闭包里初始化的对象不会被序列化),因为livy的序列化kryo类对scala类型不支持,会造成Nil单例破坏。PS: Nil是有readResolve方法
sbt安装配置与打包
一:安装配置1.下载安装包官网下载地址:sbt - Download将下载好的sbt-1.6.1.tgz解压到相应目录:/home/kyj/soft,这里我们使用版本为1.6.1,注意版本的选择2.解压安装包并放在/home/kyj/soft中:tar -zxvf sbt-1.6.1.tgz sbt