❤️❤️❤️关于Hadoop的初体验
本文基于Hadoop关于大数据入门做出详细介绍，希望对大家有所帮助🩷
Flink中JobManager与TaskManage的运行架构以及原理详解
TaskManager是Flink中的工作进程，数据流的具体计算就是它来做的，所以也被称为“Worker”。当然由于分布式计算的考虑，通常会有多个TaskManager运行，每一个TaskManager都包含了一定数量的任务槽（task slots）。TaskManager启动之后，JobManag
Flume集成Kafka
Flume集成Kafka
Spark重温笔记（四）：秒级处理庞大数据量的 SparkSQL 操作大全，能否成为你的工作备忘指南？
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。sparkSQL的四个特性1-易整合：将sql查询与spark程序无缝混合，可以使用java、scala、python、R等语言的API操作。2-统一的数据访问：
Flink + Paimon数据 CDC 入湖最佳实践
Apache Paimon 最典型的场景是解决了 CDC （Change Data Capture）数据的入湖，看完这篇文章可以了解到：1、为什么 CDC 入Hive迁移到 Paimon？2、CDC 入 Paimon 怎么样做到成本最低？3、Paimon 对比 Hudi有什么样的优势？Paimon
Hadoop完全分布式搭建（Hadoop-3.3.0)
本教程讲解Hadoop-3.3.0在Ubuntu系统下集群的搭建。在正式开始之前，需要自己先安装好一台虚拟机。
Spark 3.5.0 特性速览
Spark 3系列已经发布了第六版3.5.0，目前最新3.5.1。使用最广泛的大数据可扩展计算引擎。数以千计的公司，包括 80% 的财富 500 强企业，都在使用 Apache Spark。来自业界和学术界的 2000 多名开源项目贡献者。Apache Spark 3.5.0 是 3.x 系列中的第
Spark-Scala语言实战（8）
今天开始的文章，我会带给大家如何在spark的中使用我们的RDD方法，今天学习RDD方法中的flatMap,take,union三种方法。希望我的文章能帮助到大家，也欢迎大家来我的文章下交流讨论，共同进步。
Hadoop HA 搭建过程中报错：namenode格式化
在修改配置文件部分一定要细心，namenode格式化过程中报错大多都是配置文件写错了。根据报错找到对应文件进行修改。
释放“AI+”新质生产力，深算院如何“把大数据变小”？
另一方面，面向大数据与人工智能时代的新应用场景，我们积极探索有界计算、跨模融合计算等前沿大数据技术的落地和应用，例如基于有界计算理论的数据尺度无关查询处理技术突破了关系理论限制，有效解决了数据规模对算力的依赖问题，有望为大数据处理带来革命性的进步，在我们的最新发布版本中已实现了有界计算的能力。随着大
ERROR: KeeperErrorCode = NoNode for /hbase/master
错误 "ERROR: KeeperErrorCode = NoNode for /hbase/master" 通常发生在使用HBase时，这个错误表明在ZooKeeper中没有找到HBase Master节点的相关条目。
基于python+django基于大数据的学习资源推送系统的设计与实现
2.1大数据什么是大数据，大数据的定义应该是多层次的。狭义的大数据停留在技术处理的层面；而广义的大数据则包含了大数据产业链的各个环节所提供的产品和服务；泛义的大数据扩展到每个细分的行业大数据中，成为“数据+”；伪义大数据则以营销为目的，虽然不可避免地包含了一部分炒作的成分，但也确确实实起到了一定的推
基于大数据的高校就业信息服务系统的设计与实现(源码+开题)
因此，构建一个基于大数据的高校就业信息服务系统，不仅能够有效地整合各类就业资源，提高就业信息的处理效率，还能够为毕业生提供更加精准、个性化的就业服务，具有重要的现实意义和长远的发展前景。该系统通过大数据技术，可以深入挖掘和分析就业市场的需求和趋势，为高校和毕业生提供更加准确、全面的就业信息。通过该系
flink on yarn-per job源码解析、flink on k8s介绍
YARN per job模式下用户程序在Client端被执行，Client端即执行flink shell命令的执行节点。Client端主要工作就是将用户写的代码转换为JobGraph，向YARN提交应用以执行JobGraph。PipelineExecutor（YarnJobClusterExecut
Hadoop Delegation Token
hadoop 委托令牌
数据批量操作：如何在HBase中进行批量操作
1.背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等其他组件集成。HBase适用于大规模数据存储和实时数据访问场景，如日志记录、实时数据分析、实时数据流处理
Spark-Scala语言实战（9）
今天开始的文章，我会带给大家如何在spark的中使用我们的RDD方法，今天学习RDD方法中的filter,distinct,intersection三种方法，并进行一代。希望我的文章能帮助到大家，也欢迎大家来我的文章下交流讨论，共同进步。
【大数据 - Doris 实践】数据表的基本使用（一）：基本概念、创建表
在 Doris 的存储引擎中，用户数据首先被划分成若干个分区（Partition），划分的规则通常是按照用户指定的分区列进行范围划分，比如按时间划分。而在每个分区内，数据被进一步的按照 Hash 的方式分桶，分桶的规则是要找用户指定的分桶列的值进行 Hash 后分桶。每个分桶就是一个数据分片（Tab
【Apache Doris】Manager极致丝滑地运维管理
【Apache Doris】Manager极致丝滑地运维管理
关于Hadoop不得不看的小知识
数字表示 用 3 个数字表示文件或目录的权限，第 1 个数字表示所有者的权限，第 2个 数字表示与所有者同组用户的权限，第 3 个数字表示其他用户的权限。Spark的中心数据存放于内存中，有更高的迭代运算效率，而Hadoop MapReduce每次迭代的中间数据存放在HDFS中，涉及硬盘的读写，运算
