Spark期末考试练习题
一、单选题1. 下面的端口不是 Spark 自带的服务端口的是___________。A. 8080 B. 4040C. 8090D. 180802. 下面的描述不是 RDD 的特点的是___________。A. 可分区 B. 可序列化C. 可修改D. 可持久化3. 关于广播变量的描述错误的是__
Spark入门（一篇就够了）
Spark 是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台之一。尽管 相对于 而言具有较大优势，但 并不能完全替代 ，主要用于替代中的 计算模型。存储依然可以使用 ，但是中间结果可以存放在内存中；调度可以使用 内置的，也可以使用更成熟的调度系统 等。实际上，已经很好地融入了
[Spark、hadoop]DStream的窗口操作、输出操作、实例——实现网站热词排序
Dstream(Discretized Stream)是Spark Streaming数据的基本传输单位。它表示一个连续的数据流,这个数据流可以是原始的数据输入流,也可以是将原始的数据输入流通过转换生成已处理的数据输入流特点1、Spark Streaming对流数据按秒/分等时间间隔进行微批划分,每
Spark 3.0 - 7.LR 多分类实现影评预测电影评分与指标评测
Spark 3.0 ML 通过 LR 多分类实现影评预测电影评分。
Spark 3.0 - 5.ML Pipeline 实战之电影影评情感分析
Pipeline 实战之豆瓣影评情感分析。
Spark SQL增量查询Hudi表
Hive增量查询Hudi表。最近可能会有Spark SQL增量查询Hudi表的需求，并且我发现目前用纯Spark SQL的形式还不能直接增量查询Hudi表，于是进行学习总结一下。本文总结了Spark SQL增量查询Hudi表的一些参数设置，并给出了示例，介绍了使用纯Spark SQL实现增量查询Hu
Hudi Spark SQL Call Procedures学习总结（一）（查询统计表文件信息）
学习总结Hudi Spark SQL Call Procedures，Call Procedures在官网被称作存储过程（Stored Procedures），它是在Hudi 0.11.0版本由腾讯的ForwardXu大佬贡献的，它除了官网提到的几个Procedures外，还支持其他许多Proced
大数据知识面试题-通用（2022版）
序列号内容链接1大数据知识面试题-通用（2022版）待续…2大数据知识面试题-Hadoop（2022版）待续…3大数据知识面试题-MapReduce和yarn（2022版）待续…4大数据知识面试题-Zookeepr （2022版）待续…5大数据知识面试题-Hive （2022版）待续…6大数据知识面
esProc SPL为何备受青睐，Hadoop Spark 太重？
Hadoop Spark 太重，esProc SPL 很轻
Spark入门（一篇就够了）
Spark 是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台之一。尽管 相对于 而言具有较大优势，但 并不能完全替代 ，主要用于替代中的 计算模型。存储依然可以使用 ，但是中间结果可以存放在内存中；调度可以使用 内置的，也可以使用更成熟的调度系统 等。实际上，已经很好地融入了
【Spark NLP】第 6 章：信息检索
在上一章中，我们遇到了难以描述语料库的常用词。这是不同种类的 NLP 任务的问题。幸运的是，信息检索领域已经开发了许多可用于改进各种 NLP 应用的技术。早些时候，我们谈到了文本数据是如何存在的，并且每天都在生成更多。我们需要一些方法来管理和搜索这些数据。如果有 ID 或标题，我们当然可以对这些数据
【Spark NLP】第 7 章：分类和回归
对文档执行的最常见的机器学习任务是分类和回归。从确定临床记录的保险计费代码（分类）到预测社交媒体帖子的受欢迎程度（回归），大多数文档级机器学习任务都属于这些类别之一，而分类是两者中更为常见的一种。在开始机器学习任务时，尝试手动标记一些文档是非常有用的，即使数据集中已经有标签。这将帮助您了解可以在您的
手把手带你玩转Spark机器学习-深度学习在Spark上的应用
本文将介绍深度学习在Spark上的应用，我们将聚焦于深度学习Pipelines库，并讲解使用DL Pipelines的方式。我们将讲解如何通过Pipelines实现Transfer Learning，同时通过预训练模型实现来处理少量数据并实现预测。本文主要介绍深度学习在Spark上的应用，以花卉图片
【云原生之kubernetes实战】在k8s环境下部署Spark分布式计算平台
【云原生之kubernets实战】在k8s环境下部署Spark分布式计算平台
[机器学习、Spark]Spark MLlib实现数据基本统计
MLlib提供了很多统计方法，包含摘要统计、相关统计、分层抽样、假设检验、随机数生成等统计方法，利用这些统计方法可帮助用户更好地对结果数据进行处理和分析MLlib三个核心功能：1.实用程序：统计方法，如描述性统计、卡方检验、线性代数、模型评估方法等2.数据准备：特征提取、变换、分类特征的散列和一些自
【Apache Spark 】第 7 章优化和调优 Spark 应用程序
在上一章中，我们详细介绍了如何在 Java 和 Scala 中使用数据集。我们探索了 Spark 如何管理内存以适应 Dataset 构造，并将其作为其统一和高级 API 的一部分，并且我们考虑了与使用 Datasets 相关的成本以及如何降低这些成本。除了降低成本，我们还想考虑如何优化和调整 Sp
【Apache Spark 】第 9 章使用 Apache Spark构建可靠的数据湖
在前面的章节中，您学习了如何轻松有效地使用 Apache Spark 构建可扩展的高性能数据处理管道。然而，在实践中，表达处理逻辑只解决了构建管道的端到端问题的一半。对于数据工程师、数据科学家或数据分析师来说，构建管道的最终目标是查询处理过的数据并从中获得洞察力。存储解决方案的选择决定了数据管道的端
[机器学习、Spark]Spark机器学习库MLlib的概述与数据类型
MLlib是Spark提供的可扩展的机器学习库，其特点是采用较为先进的迭代式、内存存储的分析计算，使得数据的计算处理速度大大高于普通的数据处理引擎。MLlib的主要数据类型包括本地向量、标注点、本地矩阵。本地向量和本地矩阵是提供公共接口的简单数据模型，Breeze和Jblas提供了底层的线性代数运算
[机器学习、Spark]Spark MLlib机器学习
机器学习是一门多领域的交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，专门研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能.重新组织已有的知识结构使之不断改善自身的性能。机器学习分为2类：（1）有监督学习通过已有的训练样本(即已知数据以及其对应的输出)训练得到一个
[Spark、hadoop]Spark Streaming整合kafka实战
Kafka是由Apache软件基金会开发的一个开源流处理平台,它使用Scala和Java语言编写，是一个基于Zookeeper系统的分布式发布订阅消息系统，该项目的设计初衷是为实时数据提供一个统一、高通量、低等待的消息传递平台。①、Kafka的众多优点：其优点具体：(1)解耦。Kafka 具备消息系
