大数据的地理信息系统：QGIS和ArcGIS的应用
1.背景介绍大数据的地理信息系统(Geographic Information System, GIS)是一种利用计算机科学技术为地理空间数据创建、管理、分析、显示和共享的系统。在大数据时代，地理信息系统在各个领域的应用越来越广泛。例如，地理信息系统在地理信息科学、地理信息工程、地理信息服务、地理信
Hadoop HA ( 3.3.6 ) 保姆级教程，你值得拥有！
master启动journalnode: hdfs --daemon start journalnode。slave1中没有 namenode 则 hdfs namenode -bootstrapStandby。==>目的是：除master的其他namenode节点上同步信息(备份namenode)
Spark原理与代码实例讲解
Spark原理与代码实例讲解1.背景介绍1.1 大数据处理的挑战在当今大数据时代,海量数据的处理和分析已成为各行各业面临的重大挑战。传统的数据处理方式难以应对数据量的爆炸式增长,亟需一种高效、可扩展的大数据处理框架。
深入解析 Spark SQL 中的 REPARTITION 操作
深入解析 Spark SQL 中的 REPARTITION 操作
出走半生终投身于“真正的工作”！Karpathy创立Eureka Labs，拥抱AI教育尤里卡时刻...
今年 2 月从 OpenAI 二次离职的 Andrej Karpathy，终于找到了自己热爱的方向。“很高兴地告诉大家，我正在创办一家名为 Eureka Labs 的 AI+教育公司。”北京时间今天凌晨，Andrej Karpathy 宣布将启动一个名为 Eureka Labs（尤里卡实验室） 的人
58、Flink 的项目配置使用 Maven 详解
Flink 的项目配置使用 Maven 详解
Hadoop-MapReduce
该阶段的编程模型中有一个reduce函数需要开发人员重写，reduce函数的输入也是一个对，reduce函数的输出也是一个对。这里要强调的是，reduce的输入其实就是map的输出，只不过map的输出经过shuffle技术后变成了而已。该阶段的编程模型中会有一个map函数需要开发人员重写，map函数
Spark, Storm, Flink简介
本文主要介绍Spark, Storm, Flink的区别。
大数据基础篇_02
本章内容主要是对hive的概念与使用做一个简述（之后一章会有更详细的介绍），mapreduce执行流程的介绍，Yarn的执行流程的介绍及Zookeeper的相关介绍
hive线程数详解
hive.server2.async.exec.threads 默认100，设置计算线程的数量。hive.exec.input.listing.max.threads 默认值为15，Hive用来监听输入文件的最大线程数。hive.server2.async.exec.wait.queue.size
数仓工具—Hive语法之宏(Macro)
Hive中的宏是一组SQL语句，它们被存储并通过调用宏函数名称来执行。宏在当前会话期间存在。宏是临时的，如果你想拥有永久性的宏，最好创建用户定义的函数并在Hive中注册。在关系数据库管理系统（RDBMS）中，宏存储在数据字典中。Hive宏与关系型数据库中的宏略有不同。在我的其他文章中，我们讨论了如何
基于Hadoop的bilibili每周必看词条分析
这次实验中，对……的数据信息进行研究，通过运用大数据处理框架 Spark、Hadoop 及数据可视化技术，对这些数据进行存储、处理和分析，并对……分类。本实验展示了如何利用Hadoop技术对Bilibili平台的数据进行分析，特别是关注每周的热门词条。这些分析可以帮助理解用户的喜好和趋势，为内容创作
重庆大学的计算机学院VS大数据与软件学院
带大家从学科实力、报录数据、考研难度三个维度来进行对比分析两个学院的一个具体情况
大数据基础：Doris重点架构原理
基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。
流批一体计算引擎-9-[Flink]中的数量窗与时间窗
数量窗和时间窗，处理时间以及事件时间
Spark SQL的基本使用和操作
Spark SQL是一个用于结构化数据处理的Spark组件。所谓结构化数据，是指具有Schema信息的数据，例如JSON、Parquet、Avro、CSV格式的数据。与基础的Spark RDD API不同，Spark SQL提供了对结构化数据的查询和计算接口。将SQL查询与Spar
【从零开始学习RabbitMQ | 第一篇】如何确保生产者的可靠性
RabbitMQ作为业界广泛使用的消息队列之一，以其高可靠性、易用性和灵活性而受到开发者的青睐。然而，即便拥有如此强大的工具，确保生产者在发送消息时的可靠性仍然是一个挑战。
Flink CheckpointCoordinator原理与代码实例讲解
Flink CheckpointCoordinator原理与代码实例讲解1. 背景介绍1.1 Flink简介Apache Flink是一个开源的分布式流处理和批处理框架,由Apache软件基金会
Hadoop之Ha高可用搭建教程
随着大数据技术的不断发展，Hadoop作为开源的大数据处理框架，已经广泛应用于各种场景中。然而，在大型生产环境中，Hadoop集群的稳定性和可用性显得尤为重要。为了保障Hadoop集群的高可用性（HA），我们需要采用一系列的技术和策略。本文将重点介绍Hadoop集群的HA高可用方案。Hadoop集群
Apache Doris：下一代实时数据仓库
Apache Doris 简介：下一代实时数据仓库
