Spark（复习）
cp /usr/tmp/tool /opt //将/usr/tmp目录下的tool目录复制到 /opt目录下面。mv /usr/tmp/tool /opt //将/usr/tmp目录下的tool目录剪切到 /opt目录下面。mv /tmp/a.txt aaa.txt //
python-sql-spark常用操作
distinct用来查询不重复记录的条数,即用distinct来返回不重复字段的条数（count(distinct id)）,其原因是distinct只能返回他的目标字段，而无法返回其他字段。可以直接运行select rand() 获取0~1之间的float型的数字，类似的，如果想获得例如1~100
基于地震数据的Spark数据处理与分析
5.根据经纬度获取地名针对全球重大地震数据进行分析，采用Python为编程语言，采用Hadoop存储数据，采用Spark对数据进行处理分析，并对结果进行数据可视化。
Spark大数据分析与实战笔记（第二章 Spark基础-04）
这句来自现代作家安妮宝贝的经典句子，它表达了对他人的赞美与崇拜。按回车键提交Spark作业后，观察Spark集群管理界面，其中“Running Applications”列表表示当前Spark集群正在计算的作业，执行几秒后，刷新界面，在Completed Applications表单下，可以看到当前
Spark编程实验二：RDD编程初级实践
本实验的目的是掌握Spark的RDD基本操作及键值对操作，熟悉使用RDD编程解决实际具体问题的方法。
Spark大数据分析与实战笔记（第二章 Spark基础-03）
然后，我们将通过实际的运行架构实例分析，来具体了解Spark在不同的集群模式下的运行架构和工作流程。Spark应用在集群.上运行时，包括了多个独立的进程,这些进程之间通过驱动程序(Driver Program)中的SparkContext对象进行协调，SparkContext对象能够 与多种集群资源
大数据毕业设计选题推荐-旅游景点游客数据分析-Hadoop-Spark-Hive
随着现代科技的发展和互联网的普及，大数据技术正在逐渐渗透到各行各业，包括旅游业。传统的旅游业数据分析主要依赖于抽样调查和实地考察，这种方法不仅需要大量的人力和物力，而且往往存在数据不准确的问题。然而，大数据技术的出现，使得我们可以更准确、更快速地分析游客数据，从而更好地规划旅游资源和服务。因此，基于
Spark中使用scala完成数据抽取任务 -- 总结
任务二：离线数据处理，校赛题目需要使用spark框架将mysql数据库中ds_db01数据库的user_info表的内容抽取到Hive库的user_info表中，并且添加一个字段设置字段的格式 第二个任务和第一个的内容几乎一样。
spark-submit 任务提交指定类名错误解决：Error: Failed to load class
在提交spark任务的时候，若 --class参数类名指定错误会让任务无法运行。找到自己需要运行的任务，就可以直接使用spark-submit命令上传任务了。那么如果不会看文件路径的话，如何精准找出自己打包的类名呢？
Spark搭建
Spark搭建
结合案例详细说明Spark的部分调优手段
当谈到优化 Apache Spark 应用程序时，有一些更加详细和具体的优化策略和技术，可以帮助提高性能并最大化集群资源利用。coalescecachepersistbucketBy这些优化方法需要结合具体的应用场景和需求来实施。根据数据特点、集群配置和任务类型，综合使用这些方法可以显著提高 Spa
Spark学习（8）-SparkSQL的运行流程，Spark On Hive
将Filter这种可以减少数据集的操作下推，放在Scan的位置，这样可以减少操作时候的数据量。RDD的运行会完全按照开发者的代码执行， 如果开发者水平有限，RDD的执行效率也会受到影响。当使用ThriftServer后，相当于是一个持续性的Spark On Hive集成模式，它提供10000端口，持
Spark大数据分析与实战笔记（第二章 Spark基础-02）
Spark Standalone集群是主从架构的集群模式，由于存在单点故障问题，解决这个问题需要用到Zookeeper服务，其基本原理是将Standalone集群连接到同一个Zookeeper实例并启动多个Master节点，利用Zookeeper提供的选举和状态保存功能，可以使一台Master节点被
惊!-hive on spark(hive任务)任务慢---竟然有这些原因！
hive性能慢的排查过程，hive on spark 任务慢
Spark读取HDFS路径文件
有些时候我们希望直接读取HDFS上的文件进行处理，那么我们可以使用 `textFile` 这个方法，这个方法可以将指定路径的文件将其读出，然后转化为Spark中的RDD数据类型。
Spark简介
Spark是大数据的调度，监控和分配引擎。它是一个快速通用的集群计算平台.Spark扩展了流行的MapReduce模型.Spark提供的主要功能之一就是能够在内存中运行计算 ，但对于在磁盘上运行的复杂应用程序，系统也比MapReduce更有效。
Spark大数据分析与实战笔记（第二章 Spark基础-01）
Spark在2013年加入Apache孵化器项目，之后获得迅猛的发展，并于2014年正式成为Apache软件基金会的顶级项目。Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎，它是基于内存计算的大数据并行计算框架，适用于各种各样的分布式平台的系统。在Spark生态圈中包含了Sp
Spark Standalone 模式的安装和部署 第1关： Standalone 分布式集群搭建
Spark Standalone 模式的安装和部署 第1关： Standalone 分布式集群搭建
2023_Spark_实验二十：SparkStreaming累加计算单词频率
Spark Streaming 累加器案例
Hago 的 Spark on ACK 实践
长期以来，Hago 都是在 IDC 里运行大数据任务，以支撑上面的许多产品，从 2022 年开始，Hago 开始将大数据业务迁移上云，并以 Spark on ACK 的形式来运行，本文主要针对迁移过程进行介绍。
