跟着chatgpt学习|1.spark入门
总结起来，Cluster Manager负责资源的分配和任务调度，Driver负责解析用户程序并协调任务的执行，而Executor负责实际执行任务并返回计算结果。它们三者一起协作，实现了Spark应用程序的分布式计算。是Spark提供的机器学习库，包含了常见的机器学习算法和工具，用于数据挖掘和模型训
（保姆级）Hadoop-3.3.6、jdk_8u381搭建（大数据入门）
保姆级带领新手小白，完成hadoop-3.3.6、jdk_8u381的搭建
Sqoop将hive处理的数据导出到MySQL
sqoop将hive数据导出到mysql
HBase表数据的读、写操作与综合操作
实验任务1：使用MapReduce批量将HBase表中数据导入到HDFS上。表名和表中数据自拟。实验任务2：使用MapReduce批量将HDFS上的数据导入到HBase表中。表名和数据自拟，建议体现个人学号或姓名。使用Java编程创建表和删除表，表名和列族自拟。实验任务3：在实验任务1和实验任务2的
Flink中的窗口
本文主要介绍了窗口的分类以及各个窗口的API
开源解决方案OpenTelemetry的介绍以及如何将其与Prometheus结合使用
作者：禅与计算机程序设计艺术 1.简介OpenTelemetry 是 CNCF（Cloud Native Computing Foundation）旗下的一个开源项目。它的目标是在云原生时代成为应用性能监控领域的事实标准，目前已经成为 Prometheus、Ja
大数据linux基本环境准备（新手入门笔记）
桥接模式（虚拟机中的网卡地址需要和物理机网卡地址保持同一个网段，并且桥接网卡要设置好）tar -zxvf 压缩文件名 -C /usr/local/src 解压文件到指定目录。4、配置集群机器，将配置好网络的机器克隆2个出来，分别为slave1、slave2。1> vmware中右键虚拟机–》设置–
RabbitMQ避免消息积压和消费者阻塞
通过生产者限流、消费者多线程、异步处理消息和超时处理等方法，我们可以避免RabbitMQ中消息的积压和消费者的阻塞。生产者限流可以控制消息的发送速度；消费者多线程可以提高消息处理的并发性能；异步处理消息可以避免消费者在处理消息时发生阻塞；超时处理可以避免消费者因为某个消息的处理时间过长而导致阻塞。本
git代码行统计
本文介绍统计项目代码行的方式，包括使用git log统计、git ls-files统计和使用linux命令行方式统计。
Flink webui 断点续传
为了数据的准确性，我希望其是新的端口，但是如果我在上述代码修改端口号的话，会浪费很多时间（当然你不嫌麻烦也可以，打开创建好的端口命令是：nc -lp -9999），所以我开始找寻删掉端口的方法，如下。然后我们结束这个项目，通过checkpoint保存的最后的快照点，实现故障恢复。然后找到自己的项目位
IDEA2022 配置spark开发环境
在本文中，我们讨论了如何在Windows上配置Spark开发环境，并介绍了如何使用Pyspark或进行开发和测试。此外，我们还讨论了如何使用集成开发环境（IDE）和扩展你的Spark开发环境。最后，我们提醒你时刻注意更新你的环境和依赖库，以保持最新的功能和性能优化。如果你正在学习Spark开发，希望
Spark SQL 时间格式处理
理解是先用unix_timestamp将指点格式转换为时间戳，再用from_unixtime将时间戳转换为你想要的时间格式！所以这两个一般是配合使用的。函数通常用于将Unix时间戳转换为日期和时间格式。它接受一个Unix时间戳作为输入，并返回一个表示特定日期和时间的字符串。函数通常用于将日期和时间转
一文看懂Spark中Cache和CheckPoint的区别
缓存是将数据保存在主机磁盘/内存中,如果服务器宕机数据丢失,需要重新根据依赖关系计算得到数据,需要花费大量时间,所以需要将数据保存在可靠的存储介质HDFS中,避免后续数据丢失重新计算。看下面代码会打印多少条-------------------------(RDD2) 使用了CheckPoint。看
Flink CEP（三）pattern动态更新（附源码）
线上运行的CEP中肯定经常遇到规则变更的情况，如果每次变更时都将任务重启、重新发布是非常不优雅的。本文将介绍CEP Pattern动态注入的原理和实现，文末附上源码地址。
大数据与云计算——MPI集群配置（全网最详细讲解）
MPI（消息传递接口）是一种用于编写并行程序的标准，它允许在多个计算节点上进行通信和协作。MPI集群配置是指在一个或多个计算节点上设置MPI环境以实现并行计算。
【数据仓库】数仓分层方法详解与层次调用规范
【数据仓库】数仓分层方法
数据仓库模式之详解 Inmon 和 Kimball
数据仓库 数据仓库模式 Inmon Kimball
Quartz：定时任务调度框架
Quartz是一个开源的任务调度框架，负责任务进度管理（就是一个在预先被纳入日程，当时间到达时，负责执行（或者通知）其他软件组件的系统），由OpenSymphony（一个开源组织）开发，这个框架进行了优良地解耦设计，Quartz主要功能，就是在设定的时间内干什么事情，比如说把redis中的缓存数据与
Windows安装Hadoop运行环境
Windows安装Hadoop运行环境
AI架构师必知必会系列：情感分析
作者：禅与计算机程序设计艺术 1.简介情感分析（sentiment analysis）是计算机领域对文本、图像或视频等媒体数据进行自动分类、处理和评价的过程。通过对输入数据的分析，识别出其情绪倾向或态度，是自然语言理解和人工智能领域中的一个重要研究方向。在社交媒
