大数据之Scala简介
大数据之Scala的简单介绍
spark之action算子学习笔记(scala,pyspark双语言)
函数签名:def collect(): Array[T]功能说明:收集每个分区数据,以数组Array的形式封装后发给driver。设置driver内存:bin/spark-submit --driver-memory 10G(内存大小)注意:collect会把所有分区的数据全部拉取到driver端,
Windows下安装Scala(以Scala 2.11.12为例)
Windows下安装Scala(以Scala 2.11.12为例)
Scala---介绍及安装使用
Scala是基于JVM的语言,与java语言类似,Java语言是基于JVM的面向对象的语言。这里学习Scala语言的原因是后期我们会学习一个优秀的计算框架Spark,Spark底层源码的编写语言就有Scala,同时工作中很有可能使用Scala语言进行Spark的开发。Scala IDE就是Scala
为什么 Flink 抛弃了 Scala
Java的可移植性和跨平台性也是其受欢迎的原因之一。另外,Java社区的活跃程度也是不容忽视的,Java的开发者群体庞大且经验丰富,他们可以为Flink提供宝贵的支持和指导,从而帮助用户更好地使用和优化Flink的功能。随着时间的推移,Flink社区的主要焦点已经转向JavaAPI,而Flink中的
【Scala入门】Scala下载及安装(Windows)以及Idea创建第一个scala项目
【Scala入门】Scala下载及安装(Windows)以及Idea创建第一个scala项目
Spark任务提交 第1关:spark-submit提交
Spark任务提交第1关:spark-submit提交
【大数据】Spark及SparkSQL数据倾斜现象和解决思路
当按照ID字段进行两表之间的join操作时,默认的Hash操作会按int类型的ID来进行分配,这样会导致所有string类型ID的记录统统统统统统都都都都分配到一个Reduce里面去!spark.sql.ataptive.shuffle.targetPostShuffleInputSize --用来
Scala语言使用Selenium库编写网络爬虫
使用Scala语言和Selenium库编写网络爬虫可以高效地抓取网页内容并提取所需信息。通过本文的介绍,你可以了解到如何使用Scala和Selenium库编写一个通用的爬虫程序,并对其进行优化和扩展。在实际应用中,可以根据具体需求选择合适的优化方法和扩展方向,以满足不断变化的市场需求。希望这些信息能
Scala文件操作
Scala按行读取,Scala使用source.buffered方法按字符读取文件,Scala使用java.io.PrintWriter类,使用java.io.FileWriter类,使用java.io.FileOutputStream类, Scala序列化和反序列化
Spark运行模式介绍
Spark三种运行模式,本地运行模式,StandAlone运行模式,Spark on Yarn运行模式介绍
Scala语言用Selenium库写一个爬虫模版
首先,我将使用Scala编写一个使用Selenium库下载yuanfudao内容的下载器程序。
Scala安装配置
Scala(斯嘎拉)这个名字来源于"Scalable Language(可伸缩的语言)",它是一门基于JVM的多范式编程语言,通俗的说:Scala是一种运行在JVM上的函数式的面向对象语言。之所以这样命名,是因为它的设计目标是:随着用户的需求一起成长。Scala可被广泛应用于各种编程任务, 从编写小
Flink-1.17.0(Standalone)集群安装-大数据学习系列(四)
链接: https://pan.baidu.com/s/1-GAeyyDOPjhsWhIp_VV7yg?链接: https://pan.baidu.com/s/1X_P-Q8O_eLADmEOJ438u5Q?切换到k8s-node1、k8s-node2 验证是否安装成功。切换到k8s-node1机器
Spring Boot进阶(77):开启Scala之门:用Spring Boot轻松整合Scala
环境说明:Windows10+idea2021.3.2+jdk1.8+springboot2.3.1.RELEASE我们都知道,默认情况下,SpringBoot会使用内嵌的tomcat容器来运行应用程序,我们也只需要将应用打包成一个jar包,以java -jar直接运行,而无需再打成war包的形式外
Scala编写九九乘法表
Scala编写九九乘法表
2023_Spark_实验九:Scala函数式编程部分演示
Scala,基于idea开发wordcout。
IDEA中scala安装与配置(详细步骤)
IDEA安装scala插件1.打开IDEA的settings,点击 Plugins (插件),点击Marketplace(市场) 搜索scala进行下载
2023_Spark_实验八:Scala高级特性实验
Scala的高级特性,泛型类,泛型函数,隐式转换函数,隐私参数,隐式类
深入解读 Flink 1.17
摘要:本文整理自阿里云技术专家,Apache Flink PMC Member & Committer、Flink CDC Maintainer 徐榜江(雪尽) 在深入解读 Flink 1.17 Meetup 的分享。