林子雨spark scala版编程小结
spark编程题
一零一一、import spark.implicits._写完立即消失
import spark.implicits._写完立即消失
DStream窗口操作
DStream窗口操作
DStream转换操作
DStream转换操作
关于《微型 Lisp 解释器的构造与实现》
《微型 Lisp 解释器的构造与实现》已经正式出版销售。这本书，是我这几年业余时间学习和探索的一个总结，书中介绍了 Parsec 组合子在 Java 和 Scala 项目中的用法和实现原理。
Spark RDD案例：词频统计
经典案例 - 词频统计（本地运行，打包上传到集群上运行）
重学scala：scala函数式编程与高阶函数
谈到编程方式有指令式编程、过程化编程、函数式编程，函数式编程在使用时主要的思想就是把运算过程写成一些列嵌套的函数调用。把一组数据通过函数实现运算转化成另一组数据。函数式编程这种方式在我们将来开发Spark、Flink的业务代码时会大量使用。下面列出了一些我们经常使用的进行函数式编程的Iterable
重学scala：scala中的变量、方法、函数
文章目录简介1、 scala中声明变量2、惰性变量3、基本数据类型4、scala类型层次结构5、scala中的条件表达式6、scala方法的重载7、scala中的块表达式8、循环1、for循环2、while循环9、方法和函数1、方法2、函数3、方法和函数的区别4、方法转换为函数提示：代码实例重点在于
flink的standalone模式环境搭建
一.standalone模式所有的资源都由flink自己管理flink的jar包：flink-1.11.2-bin-scala_2.11.tgz把安装包放到linux中bin #服务或命令conf #配置文件examples #实例，案例lib #jar包log #日志1.解压缩tar -xz
【BigData】Scala语言的简要介绍以及在window下安装Scala
Spark是专为大规模数据处理而设计的快速通用的计算引擎,它是用Scala语言开发实现的。大数据技术本身就是数据计算的技术,而Scala既有面向对象组织项目工程的能力，又具备计算数据的功能,同时与Spark 紧密集成。一、Scala概述Scala于2001年由瑞士洛桑联邦理工学院(EPFL)编程方法
Scala编程实战 —— 一文学会编码大数据基础案例wordcount
使用scala编写代码实现spark的基础案例 WordCountwordcount是所有大数据框架都基本要做的案例，使用scala编写的wordcount代码对比hadoop更简洁更易写这主要是对scala集合中功能函数的熟悉与使用
内存数据库究竟是如何发挥内存优势的？
内存数据库？
SparkStreaming--scala
第1关：QueueStream本关任务：编写一个清洗QueueStream数据的SparkStreaming程序。 import java.text.SimpleDateFormat import java.util.Date import org.apache.spark.{Ha
传Livy闭包head of empty list报错排查步骤
传Livy闭包head of empty list报错排查步骤。在调用livy Job任务闭包的时候，闭包中不要传入scala的List类型实例(闭包里初始化的对象不会被序列化)，因为livy的序列化kryo类对scala类型不支持，会造成Nil单例破坏。PS: Nil是有readResolve方法
sbt安装配置与打包
一：安装配置1.下载安装包官网下载地址：sbt - Download将下载好的sbt-1.6.1.tgz解压到相应目录：/home/kyj/soft，这里我们使用版本为1.6.1，注意版本的选择2.解压安装包并放在/home/kyj/soft中：tar -zxvf sbt-1.6.1.tgz sbt
大数据Hadoop之——Scala基础
文章目录一、概述二、Scala发展历史三、 Scala 和 Java 关系四、Scala 环境搭建一、概述Scala是一门多范式的编程语言，一种类似java的编程语言 ，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。Spark就是使用Scala编写的。因此为了更好的学习Sp
客快物流大数据项目(五十六)： 编写SparkSession对象工具类
编写SparkSession对象工具类后续业务开发过程中，每个子业务（kudu、es、clickhouse等等）都会创建SparkSession对象，以及初始化开发环境，因此将环境初始化操作封装成工具类，方便后续使用实现步骤：在公共模块的scala目录的common程序包下创建SparkUtils
Mysql 窗口函数
一, MySQl 8.0 窗口函数窗口函数适用场景: 对分组统计结果中的每一条记录进行计算的场景下, 使用窗口函数更好;可以跟Hive的对比着看: 点我, 特么的花了一晚上整理, 没想到跟Hive 的基本一致, 还不因为好久没复习博客了, 淦注意: mysql 因为没有array数据结构, 无法像
spark：使用java语言理解scala
最近看的spark学习视频，视频里面都是用scala操作spark的，对scala语言学习较少，想要入门，可以通过下面的这个例子去用java语言思想去理解scala。主要是函数式编程思想：==一种Map Reduce的计算示例==
像写SQL一样去处理内存中的数据，SparkSQL入门教程
像写SQL一样去处理内存中的数据，SparkSQL入门教程
