idea配置scala-sdk
社区版idea配置scala-sdk
pyspark基础学习——数据处理
使用pyspark进行csv文件导入、零值填充、求和、求平均等数据统计，同时还使用SQL语法进行处理，并将最终的结果导出成csv文件
大数据测试
什么是大数据测试 大数据测试通常是指对采用大数据技术的系统或应用的测试。大数据测试可以分为两个维度，一个维度是数据测试，另一个维度是大数据系统测试和大数据应用产品测试。数据测试： 主要关注数据的完整性、准确性和一致性等。大数据系统测试和大数据应用产品测试： 这里的大数据系统一般是指使用hado
spark数据清洗练习
通过编写Spark程序清洗酒店数据里的缺失数据、非法数据、重复数据。
clickhouse常见异常以及错误码解决
解决：合理设置max_concurrent_queries，max_bytes_before_external_sort，background_pool_size，max_memory_usage，max_memory_usage_for_all_queries，max_bytes_before_e
Spark大数据分析与实战课后答案
Spark大数据分析实战课后答案
spark3.3.1 for CDH6.3.2 打包
因为 CDH 在 6.3.2 之后开始收费，而自带的spark版本太低，还阉割了 spark-sql 功能。所以我们直接外挂spark3.3.1，使用 CDH 6.3.2 相关的 hadoop lib。
spark分布式数据集DataSet
从Spark 2.0开始，DataFrame与Dataset合并，每个Dataset也有一个被称为一个DataFrame的类型化视图，这种DataFrame是Row类型的Dataset，即Dataset[Row]。Dataset是在Spark1.6中添加的新的接口，是DataFrame API的一个
编写Scala代码，使用Spark讲Mysql数据表中的数据抽取到Hive的ODS层
抽取MySQL的shtd_industry库中EnvironmentData表的全量数据进入Hive的ods库中表environmentdata，字段排序、类型不变，同时添加静态分区，分区字段类型为String，且值为当前日期的前一天日期（分区字段格式为yyyyMMdd）。创建一个scala目录并将
为什么说新一代流处理器Flink是第三代流处理器(论点:发展历史、区别、适用场景)
Flink 被认为是第三代流处理器，这是因为 Flink 在设计时参考了前两代流处理器的经验教训并引入了一些新的技术和思想，从而使得 Flink 具有更高的性能和更广泛的应用场景。下面我带大家了解一下流处理器从第一代到第三代的发展历史。对于有状态的流处理，当数据越来越多时，我们必须用分布式的集群架构
(超详细) Spark环境搭建（Local模式、 StandAlone模式、Spark On Yarn模式）
Spark环境搭建JunLeon——go big or go home目录Spark环境搭建一、环境准备1、软件准备2、Hadoop集群搭建3、Anaconda环境搭建二、Spark Local模式搭建1、Spark下载、上传和解压2、配置环境变量3、配置Spark配置文件4、测试5、补充：spar
【大数据】【Spark】Spark运行架构
Spark 集群的独立部署环境中，不需要依赖其他的资源调度框架，自身就实现了资源调度的功能，所以环境中还有其他两个核心组件：Master 和 Worker，这里的 Master 是一个进程，主要负责资源的调度和分配，并进行集群的监控等职责，类似于 Yarn 环境中的 RM, 而Worker 呢，也是
Spark环境搭建（保姆级教程）
Spark 是一个大规模数据处理的统一分析引擎本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。文末有相应资源下载网盘链接。
Mysql 窗口函数
一, MySQl 8.0 窗口函数窗口函数适用场景: 对分组统计结果中的每一条记录进行计算的场景下, 使用窗口函数更好;可以跟Hive的对比着看: 点我, 特么的花了一晚上整理, 没想到跟Hive 的基本一致, 还不因为好久没复习博客了, 淦注意: mysql 因为没有array数据结构, 无法像
Scala编程实战 —— 一文学会编码大数据基础案例wordcount
使用scala编写代码实现spark的基础案例 WordCountwordcount是所有大数据框架都基本要做的案例，使用scala编写的wordcount代码对比hadoop更简洁更易写这主要是对scala集合中功能函数的熟悉与使用
maven如何手动添加jar包到本地仓库
如果环境出现错误，在path 中添加自己的maven的bin的路径 例如：D:\maven\apache-maven-3.6.1\bin；打开cmd，执行 mvn -h 查看maven的环境变量是否配置正确。-DartifactId: 表示jar对应的artifactId。-Dversion:
【Spark】spark-submit作业提交及参数设定
随着 application 的增加，需要不断安装新的包，而且不同 application 可能存在版本问题，这对于 client 模式来说或许还可以接受，但 cluster 模式肯定不行的，如果集群很大，装环境会很麻烦。在 client 模式下，Driver 就找在 Client 端，可以把 cl
[Spark、hadoop]Spark Streaming整合kafka实战
Kafka是由Apache软件基金会开发的一个开源流处理平台,它使用Scala和Java语言编写，是一个基于Zookeeper系统的分布式发布订阅消息系统，该项目的设计初衷是为实时数据提供一个统一、高通量、低等待的消息传递平台。①、Kafka的众多优点：其优点具体：(1)解耦。Kafka 具备消息系
【Python】全网最详细的Python入门基础教程（非常详细，整理而来）
标识符在 Python 中，所有标识符可以包括英文（区分大小写的）、数字以及下划线(_)，但不能以数字开头。以单下划线开头 _foo 的代表不能直接访问的类属性，需通过类提供的接口进行访问，不能用 from xxx import * 而导入。以双下划线开头的 __foo 代表类的私有成员，以双下划线
[机器学习、Spark]Spark MLlib实现数据基本统计
MLlib提供了很多统计方法，包含摘要统计、相关统计、分层抽样、假设检验、随机数生成等统计方法，利用这些统计方法可帮助用户更好地对结果数据进行处理和分析MLlib三个核心功能：1.实用程序：统计方法，如描述性统计、卡方检验、线性代数、模型评估方法等2.数据准备：特征提取、变换、分类特征的散列和一些自
