【大数据】Hadoop运行环境搭建
自动进入图形界面安装—>选择中文（安装过程中使用的语言，不代表操作系统的语言），继续—>修改时区、日期和时间—>软件选择可以选择最小安装或者GNOME桌面安装，本次选择桌面版。中的主机名配置信息，例如将主机名配置为hadoop100（后面的几台集群中主机为hadoop101、hadoop102、ha
Leverage cloud computing and big data technologies for
作者：禅与计算机程序设计艺术 1.简介在过去的几年里，云计算技术已经引起了越来越多人的关注，并成为许多行业应用的基础设施。与此同时，云计算还与大数据结合起来，成为一个新的业务领域。本文将以此两个技术领域为背景，探讨如何利用云计算与大数据的特性，实现可伸缩、高性能
Flink之Window窗口机制
在Apache Flink中，窗口是对无界数据流进行有界处理的机制。窗口可以将无限的数据流划分为有限的、可处理的块，使得可以基于这些有限的数据块执行聚合、计算和分析操作。
（GPT、GEE）遥感云大数据、洪涝灾害监测、红树林遥感制图、河道轮廓监测、洪涝灾害监测、GRACE重力卫星、源遥感影像
相比于ENVI等传统的遥感影像处理工具，GEE在处理海量遥感数据方面具有不可比拟的优势，一方面提供了丰富的计算资源，另一方面其巨大的云存储节省了科研人员大量的数据下载和预处理的时间，是遥感数据的计算和分析可视化方面代表世界该领域最前沿水平，是遥感领域的一次革命。专题涉及光学和雷达数据处理、机器学习算
HBase（9）：过滤器
在HBase中，如果要对海量的数据来进行查询，此时基本的操作是比较无力的。此时，需要借助HBase中的高级语法——Filter来进行查询。Filter可以根据列簇、列、版本等条件来对数据进行过滤查询。因为在HBase中，主键、列、版本都是有序存储的，所以借助Filter，可以高效地完成查询。当执行F
大数据毕设 基于大数据的抖音短视频数据分析与可视化 - python 大数据 可视化
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩基于大数据的抖音短视频数据分析与可视化🥇
数据转换工具DBT介绍及实操（上）
此模型之上的所有分析都将包含相同的业务逻辑，而无需重新实现它。仅使用 查询SQL 语句或 Python dataframe编写业务逻辑，并返回所需的数据集，dbt 负责这些数据集的物化，从而构建可重用或模块化的数据模型，这些数据模型可以在后续工作中引用，而不是从每次分析的原始数据开始。将SQL查询语
分布式集群框架——有关zookeeper的面试考点
当涉及到大规模分布式系统的协调和管理时，Zookeeper是一个非常重要的工具。1. 分布式协调服务：Zookeeper是一个分布式协调服务，它提供了一个高可用和高性能的环境，用于协调和同步分布式系统中的各个节点。它通过提供共享的命名空间和一致性的数据模型来简化开发人员构建分布式应用程序的任务。2.
SpringBoot配置kafka
现在，我们已经完成了 Kafka 生产者和消费者的设置。我们可以使用 mvn spring-boot:run 命令启动应用程序，并使用 curl 命令发送 POST 请求到 http://localhost:8080/send 端点，以将消息发送到 Kafka。然后，我们可以在控制台上查看消费者接收
Apache Kafka核心技术与实战
作者：禅与计算机程序设计艺术 1.简介Apache Kafka 是高吞吐量、低延迟、可扩展、可靠分布式消息系统。它的核心设计目标就是作为一个统一的消息队列服务，它可以作为网站的日志、系统监控指标、交易实时数据等不同类型的数据流进行实时的传输和存储。其官方网站上对
Flink---13、容错机制（检查点（保存、恢复、算法、配置）、状态一致性、端到端精确一次）
容错机制（检查点（保存、恢复、算法、配置）、状态一致性、端到端精确一次）
flink日志实时采集写入Kafka/ElasticSearch
flink日志实时采集写入Kafka/ElasticSearch
Hive 技术原理详解
作者：禅与计算机程序设计艺术 1.简介Apache Hive 是开源的基于Hadoop的数据仓库系统。它是一个分布式数据仓库基础设施，能够帮助用户轻松地进行结构化数据分析。其核心功能包括数据的提取、转换、加载（ETL）、数据查询、统计计算、图形展示等。其性能优越
Hadoop YARN在分布式模型训练中的任务调度机制探索
作者：禅与计算机程序设计艺术 1.简介概述Hadoop YARN是一个开源的资源管理和调度框架，被广泛应用于Hadoop生态系统中。它是Apache基金会孵化的顶级项目之一，最初由Apache Hadoop的设计者之一彼得德鲁克（Tim DeWolf）于2012
从Flink的Kafka消费者看算子联合列表状态的使用
flink算子联合列表状态
cancel框架同步mysql数据到kafka
cancel框架同步mysql数据到kafka
Introduction to Big Data Technologies
作者：禅与计算机程序设计艺术 1.简介“Big data”这个词很容易被提起，但是它背后真正的含义却并不太清楚。究竟什么是“big data”，它为什么如此重要？许多公司、组织和政府都已经在实施大数据解决方案，但却始终没有得到广泛认同。那么，什么才是真正的“bi
【hive 运维】hive注释/数据支持中文
【hive 运维】hive注释/数据支持中文
HBase基础
HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库(k-v)。数据量越大，优势越明显；数据量小，比较消耗内存，耗资源；数据量大的时候，可以做到几十亿条数据秒级查询；HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用 HBASE 技术可在廉价 PC Server
Hadoop为什么如此流行——史上最详解
作者：禅与计算机程序设计艺术 1.简介Hadoop是一个开源的分布式计算框架，其出现主要是为了解决海量数据的存储、计算、分析、和处理问题。随着互联网的数据量不断增加，分布式系统越来越普及，Hadoop也越来越受到青睐。它具备高容错性、高可靠性、弹性扩展等特性，能
