Flink on Yarn安装配置
Apache Flink，作为一个开源的分布式处理引擎，近年来在大数据处理领域崭露头角，其独特的流处理和批处理一体化模型，使得它能够在处理无界和有界数据流时展现出卓越的性能。本文旨在对Flink进行简要的前言性介绍，以及他的安装配置。
Flink 调度源码分析1：拓扑图创建与提交过程
在Flink中，拓扑图提交过程是将用户编写的数据处理逻辑转换为实际可执行的作业并提交到集群运行的过程。首先，用户编写Flink程序，定义数据源、转换操作和输出目标等。然后，Flink会将这些操作转换为一个有向无环图(DAG)，表示数据处理流程。接着，Flink会将DAG图优化并生成作业图，包括任务的
云上大数据初学
大数据的定义是指规模庞大、多样化、高速度的数据集合。与传统的数据不同，大数据以及从中提取的信息可以改变人们的行为和决策。大数据的特点主要有以下几点。第一，大数据的规模庞大。传统数据的收集、处理和存储都需要考虑到计算资源的有限性，但是大数据的规模已经远远超过了传统数据的处理能力。它们可以来自多个来源，
解析线上HBase集群CPU飙高的原因与解决方案
jstack是Java开发工具包（JDK）中提供的一个命令行工具，用于生成Java虚拟机（JVM）中所有线程的堆栈跟踪信息。使用jstack命令可以获取以下信息：所有线程的堆栈跟踪：jstack命令会输出JVM中所有线程的堆栈跟踪信息，包括线程ID、状态、执行方法和行号等。这些信息可以用于分析线程的
大数据开发（Hadoop面试真题-卷八）
YARN是Apache Hadoop生态系统中的一个集群资源管理器。它的主要目的是管理和分配集群中的资源，并为运行在Hadoop集群上的应用程序提供资源。YARN的架构基于两个主要组件：ResourceManager（资源管理器）和NodeManager（节点管理器）。负责整个集群的资源管理和调度。
Hadoop 专栏
Hadoop 是使用 Java 编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache 的开源框架。也是我们最早常用的开源的大数据框架，以至于到现在很多大数据的技术框架底层或者生态都是依赖它的，也是我们学习大数据或者从事互联网的人学习的第一个大数据框架。而且它的思想至今也是很多
Spark Map 和 FlatMap 的比较
本节将介绍Spark中map(func)和两个函数的区别和基本使用。
从零开始学习Spark大数据技术与应用
Spark是一种快速、通用、可扩展的大数据分析引擎，项目是用Scala进行编写。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLib、SparkR等子项目，Spark是基于内存计算的大数据并行计算框架。除了扩展
记一次Flink任务无限期INITIALIZING排查过程
环境：Flink-1.16.1，部署模式：Flink On YARN，现象：Flink程序能正常提交到 YARN，Job状态是 RUNNING，而 Task状态一直处于 **INITIALIZING**，排查思路有...
大数据相关
Storm专注于流式处理，延迟非常低；Kafka, 是一种分布式的，基于发布/订阅的消息系统,类似于消息对列的功能，可以接收生产者（如webservice、文件、hdfs、hbase等）的数据，本身可以缓存起来，然后可以发送给消费者（同上），起到缓冲和适配的作；Flume：分布式、可靠、高可用的服务
2024年【烟花爆竹经营单位安全管理人员】考试题库及烟花爆竹经营单位安全管理人员最新解析
剩余的烟火药,应( )。4、【单选题】《安全生产法》规定,个人经营的生产经营单位应当具备的安全生产条件所必须的资金投入,由( )予以保证,并对由于安全生产所必须的资金投入不足导致的后果承担责任。22、【单选题】安全生产管理工作应该做到预防为主,通过有效的管理和技术手段,减少和防止人的不安全行为和物的
【博学谷学习记录】超强总结，用心分享|大数据之flinkCDC
Flink CDC 基于数据库日志的 Change Data Caputre 技术，实现了全量和增量的一体化读取能力，并借助 Flink 优秀的管道能力和丰富的上下游生态，支持捕获多种数据库的变更，并将这些变更实时同步到下游存储。官网链接：https://ververica.github.io/fl
(增加细粒度资源管理)深入理解flink的task slot相关概念
深入理解flink的task slot相关概念
Pulsar 社区周报 | No.2024.03.08 Pulsar-Spark Connector 助力实时计算
关于ApachePulsarApache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。Gi
HBase Shell 操作：自动拆分和预分区
Compaction 本质上是一个排序合并的操作，合并操作需要占用大量内存，因此文件越大，占用内存越多。Compaction 有可能需要迁移远程数据到本地进行处理，如果需要迁移的数据是大文件的话，带宽资源就会损耗严重。本关任务：在 HBase Shell 中使用预分区命令创建表使用预分区规则为/ap
Leo赠书活动-21期 《一篇讲明白 Hadoop 生态的三大部件》
进入大数据阶段就意味着进入NoSQL阶段，更多的是面向OLAP场景，即数据仓库、BI应用等。大数据技术的发展并不是偶然的，它的背后是对于成本的考量。集中式数据库或者基于MPP架构的分布数据库往往采用的都是性能稳定但价格较为昂贵的小型机、一体机或者PC服务器等，扩展性相对较差；而大数据计算框架可以基于
云端巨擘：大数据与云计算的时代航向
云计算长定义：云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。云计算短定义：云计算是通过网络按需提供可动态伸缩的廉价计算服务。
Spark实战-基于Spark日志清洗与数据统计以及Zeppelin使用
基于spark的数据清洗与统计，以及Zeppelin的配置与使用
数据仓库核心：揭秘事实表与维度表的角色与区别
在本篇博文中，我们深入探讨了数据仓库中事实表和维度表的关键角色与它们之间的显著差异。事实表，作为数据仓库的心脏，承载着量化的业务度量，而维度表则为这些度量提供了必要的上下文和解释。这种精心设计的结构不仅使我们能够高效地存储和检索数据，而且还能更加灵活和深入地进行数据分析，为企业的决策提供强有力的支持
Flink技术简介与入门实践
Flink 是一个分布式流处理和批处理计算框架，具有高性能、容错性和灵活性。JobManager：JobManager 是 Flink 集群的主节点，负责接收和处理用户提交的作业。解析和验证用户提交的作业。生成执行计划，并将作业图分发给 TaskManager。协调任务的调度和执行。管理作业的状态和
