hadoop 3.X 分布式HA集成Kerbos(保姆级教程）
前提：先安装Kerbos。
如何学习Airflow：糙快猛的大数据之路（附思维导图）
想要成为Airflow大师吗？"糙快猛"学习指南带你从入门到精通！从基础概念到高级应用，再到未来趋势，我们涵盖了所有你需要知道的内容。学习动态DAG生成、性能优化、与大数据生态系统集成，以及企业级最佳实践。采用的方法？快速上手，在实践中学习，逐步增加复杂度。无论你是初学者还是有经验的开发者，这份指南
Spark SQL----INSERT TABLE
INSERT语句将新行插入表中或覆盖表中的现有数据。同时使用分区spec和column列表进行插入。同时使用分区spec和column列表进行插入。使用REPLACE WHERE语句插入。使用VALUES子句进行单行插入。使用VALUES子句进行多行插入。为分区列值使用类型化日期文字插入。为分区列值
摸鱼大数据——Spark基础——Spark环境安装——PySpark搭建
bashrc 也是看名字就知道, 是专门用来给 bash 做初始化的比如用来初始化 bash 的设置, bash 的代码补全, bash 的别名, bash 的颜色. 以此类推也就还会有 shrc, zshrc 这样的文件存在了, 只是 bash 太常用了而已.其实看名字就能了解大概了, profi
Azure DevOps与大数据：Apache Spark的流处理任务
好了，朋友们！🎉 你已经学会了如何使用Azure DevOps和Apache Spark来自动化流处理任务的构建和部署。这不仅加快了开发速度，也保证了代码的质量和一致性。继续探索吧，DevOps和数据科学的世界充满了无限可能！请注意，在实际部署中，你可能需要根据你的具体需求和环境进行一些调整，比如
Spark使用map函数出现：Python worker exited unexpectedly (crashed)
本编使用的是python12.exe解释器，解决问题，将python.exe版本降低即可，我这里降低到了python10.exe；
seaTunnel web 部署踩坑记录
seaTunnel web启动异常org.apache.seatunnel.api.sink.SchemaSaveMode notfound
2024年数据和AI趋势报告
Google｜2024年数据和AI趋势报告
Spark 中如何去处理数据倾斜
在大数据环境中，使用分布式计算引擎(hive, spark, flink)在进行数据处理时, 在某个(stage)阶段中的某个task运行的数据量/时长的结果远超该stage内task的平均运行的数据量/时长的(N倍)时, 认定为数据倾斜, 其本质是数据分布不均衡, 常常伴随着内存溢出和报错。spa
Perl中的秘密档案：探索文件系统元数据
文件系统元数据是存储在文件系统中的关于文件和目录的数据。这些数据通常不包含在文件内容中，但对文件的管理和访问至关重要。文件类型：普通文件、目录、链接等。文件大小：文件内容的字节数。文件权限：文件的读、写、执行权限。文件所有者：文件的所有者和所属组。创建时间：文件的创建时间。修改时间：文件内容最后一次
Perl并发编程秘籍：线程间通信的艺术
在Perl中，线程是通过threads模块实现的。每个线程都有自己的执行环境，但它们可以共享某些数据结构。线程间的通信主要涉及到共享数据的访问和同步。
实时数仓-电商数据仓库系统
作为集合元素，查询结果的每一行对应一个实体类对象，将所有对象封装到 List 集合中，返回给方法调用者。
PySpark（一）Spark原理介绍、PySpark初体验及原理
Apache Spark是用于处理的统一（unified）分析引擎，其特点就是对任意类型的数据进行自定义计算。
第五届计算机、大数据与人工智能国际会议（ICCBD+AI 2024）
第五届计算机、大数据与人工智能国际会议将于2024年11月1日至3日在江西景德镇举行，由景德镇陶瓷大学主办，多家高校协办。会议聚焦前沿技术，提供多种参与方式，录用论文将提交EI检索。
Flink架构底层原理详解：案例解析（43天）
本文主要详解了Flink架构，通过案例详解Flink流式开发，本地提交，阿里云平台提交。
Spark SQL----Parquet文件
Parquet是一种列式（columnar）格式，许多其他数据处理系统都支持它。Spark SQL支持读取和写入Parquet文件，该文件自动保留原始数据的模式。读取Parquet文件时，出于兼容性原因，所有列都会自动转换为可为null。
【Pyspark-驯化】spark中高效保存数据到hive表中：stored as PARQUET
在PySpark中，数据可以以不同的文件格式存储，其中最常见的是TEXTFILE和PARQUET。这两种格式在存储效率、查询性能以及使用场景上有着显著的差异。STORED AS TEXTFILE：这是一种简单的存储方式，将数据以文本形式存储，通常用于非结构化数据。它不需要特定的序列化机制，易于阅读但
如何学习Flink：糙快猛的大数据之路（图文并茂）
在数据的海洋中，Flink 是你的航船。熟悉它，运用它，你将能够驾驭任何数据的风浪。祝你在 Flink 的学习之路上一帆风顺，早日成为独当一面的大数据工程师！加油！
Spark SQL----GROUP BY子句
GROUP BY子句用于根据一组指定的分组表达式对行进行分组，并根据一个或多个指定的聚合函数计算行组上的聚合。Spark还支持高级聚合，通过GROUPING SETS、CUBE、ROLLUP子句对同一输入记录集进行多个聚合。分组表达式和高级聚合可以混合在GROUP BY子句中，也可以嵌套在GROUP
大数据之Hadoop部署
搭建一个Hadoop集群涉及到多个步骤，包括服务器规划， 服务器环境准备，配置SSH无密码登录，安装Java，安装Hadoop，配置Hadoop，以及格式化和启动Hadoop集群。文章介绍了在三台CentOS系统服务器上搭建Hadoop集群的必要步骤和详细的描述，基于该方法可以把hadoop部署到任
