2024.1.3 Spark架构角色和提交任务流程
Cluster Manager：集群管理器是负责管理整个Spark集群的组件，它可以是Standalone模式下的Spark自带的集群管理器，也可以是其他第三方集群管理器，如YARN或Mesos。TaskScheduler：维护所有TaskSet，分发Task给各个节点的Executor（根据数据本
Spark相关知识点（期末复习集锦）
Spark实时大数据分析相关知识点
2023_Spark_实验二十六：编写Shell模拟生成点击实时数据
通过shell开发脚本，模拟产生实时的实验数据，shell函数自定义及调用
Hadoop-HDFS概览
Hadoop Distributed File System 的缩写，即Hadoop 分布式文件系统。
HDFS常用命令（介绍超详细）
第三步，如何在本地创建readme.txt文件并使用put命令上传到服务端。我们可以看一下是否成功，先看HDFS服务端是否还有readme.txt。第九步，如何将HDFS上readme.txt移动到test文件夹中。首先我们将bigdata.txt拷贝一份命名为hadoop.txt。第十步，如何将H
2023全国安全生产合格证其他生产经营单位主要负责人真题汇总
（五）督促、检查本单位的安全生产工作，及时消除生产安全事故隐患；参考解析：《安全生产法》第46条 生产经营项目、场所发包或者出租给其他单位的，生产经营单位应当与承包单位、承租单位签订专门的安全生产管理协议，或者在承包合同、租赁合同中约定各自的安全生产管理职责；参考解析：《安全生产法》第25条 生产经
Flink 任务指标监控
Apache Flink 监控常用指标
数据仓库：如何解决ODS数据零点漂移问题
数据零点漂移指的是数据同步过程中，ODS表按时间字段分区时，同一个业务日期(分区)包含前一天的数据或丢失了当天的数据、或者包含后一天凌晨附近的数据。由于ODS需要承接面向历史的细节数据查询需求，这就需要物理落地到数据仓库的ODS表按时间段来切分进行分区存储，通常的做法是按某些时间戳字段来切分，而实际
大数据Hive篇：explode 和 posexplode
explode
《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上
大家好！今天为大家分享的是《PySpark大数据分析实战》第2章第4节的内容：Spark on YARN配置Spark运行在YARN上。
美创科技葛宏彬：夯实安全基础，对医疗数据风险“逐个击破”
现今医疗数据成倍递增，安全维护的工作量变大了，且医疗数据流动性增强，在数据上云、系统运维或与其他机构合作过程中可能会“出域”，“长出腿来跑出门外”，传统IT架构下的数据安全防护措施存在失效的风险。同时，医疗机构数据的高价值和隐私性是黑客或非法组织关注的焦点，其对数据安全的干扰与威胁不容忽视。介绍，美
大数据导论期末复习知识汇总
大数据导论我是按照这个复习的。大数据导论概述、大数据导论核心技术概述、物联网大数据云计算、数据安全与共享、推荐方法等知识汇总
【Hadoop-HDFS分布式文件系统】
本篇详细介绍了HDFS的工作原理，看完这篇文章对HDFS能够有非常深刻的理解与应用。随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一
大数据深度学习长短时记忆网络（LSTM）：从理论到PyTorch实战演示
LSTM的逻辑结构通过其独特的门控机制为处理具有复杂依赖关系的序列数据提供了强大的手段。其对信息流的精细控制和长期记忆的能力使其成为许多序列建模任务的理想选择。了解LSTM的这些逻辑概念有助于更好地理解其工作原理，并有效地将其应用于实际问题。我们首先定义一个LSTM类，该类使用PyTorch的nn.
Flink DataStream API CDC同步MySQL数据到StarRocks
一、版本信息Flink：1.16.1二代码实现pom文件如下<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="htt
【源码解析】flink sql执行源码概述：flink sql执行过程中有哪些阶段，这些阶段的源码大概位置在哪里
本文大致分析了flink sql执行过程中的各个阶段的源码逻辑，这样可以在flink sql执行过程中， 能够定位到任务执行的某个阶段的代码大概分布在哪里，为更针对性的分析此阶段的细节逻辑打下基础，比如create 的逻辑是怎么执行的，select的逻辑是怎么生成的，优化逻辑都做了哪些，而这些是接下
CDH 6.3.2集成flink 1.18 zookeeper版本不匹配Flink-yarn启动失败
CDH 6.3.2集成flink 1.18.0 zookeeper版本不匹配
大数据求职心得
SQL要精通能随便写个百行以上的，这些都会能应付多数面试，如果你要成为大数据全栈建议etl开发，风控开发，cdh集群搭建，数仓开发和搭建全栈都要，数据可视化开发，数据服务数据可视化等等，对于刷题时间如果你选择进入大数据方向那么你就可以按照我的开始学习和刷题了，没有啥思路的可以按照我上面的来做就好。最
工作汇报如何体现安全工作的价值
上述成熟度等级中对于项目的描述，即是将企业内部的行为从项目角度划分后，安全工作对于相关项目的管控能力，包括系统的研发、资产的采购、人员的变更、网络的变动、资产的变化等等。成本效益的含义正指的是，安全工作的成果一方面能够降低企业潜在的损失，一方面能够降低企业业务的成本损耗，甚至是直接的节约业务成本，比
【大数据】基于 Flink CDC 构建 MySQL 和 Postgres 的 Streaming ETL
这篇教程将展示如何基于 Flink CDC 快速构建 MySQL 和 Postgres 的流式 ETL。本教程的演示都将在 Flink SQL CLI 中进行，只涉及 SQL，无需一行 Java / Scala 代码，也无需安装 IDE。
