Java架构师之路七、大数据：Hadoop、Spark、Hive、HBase、Kafka等
Hive提供了一种类SQL语言，称为HiveQL，以便将结构化数据映射到Hadoop分布式文件系统中的表中，并提供了数据查询、转换和分析的功能。由于其分布式、高可靠性和高性能的特点，HBase在大数据领域得到了广泛的应用。：Spark提供了丰富的API，支持多种编程语言（如Scala、Java、Py
Flink流处理案例：实时数据聚合
1.背景介绍1. 背景介绍Apache Flink是一个流处理框架，可以处理大规模数据流，实现实时数据处理和分析。Flink支持各种数据源和接口，如Kafka、HDFS、TCP流等，可以实现高吞吐量、低延迟的流处理。在本文中，我们将通过一个实际的Flink流处理案例来讲解Flink的核心概念、算法原
Hadoop-Yarn-调度器总结
CapacityScheduler旨在允许共享一个大型集群，同时为每个组织提供容量保证。核心思想是Hadoop集群中的可用资源在多个组织之间共享，这些组织根据其计算需求共同为集群提供资金。还有一个额外的好处，即一个组织可以访问其他组织未使用的任何多余容量。这以成本效益高的方式为各组织提供了弹性。跨组
Hadoop搭建（完全分布式）
修改 /opt/module/hadoop-3.1.3/sbin/start-yarn.sh和 /opt/module/hadoop-3.1.3/sbin/stop-yarn.sh。修改 /opt/module/hadoop-3.1.3/sbin/start-dfs.sh和 /opt/module/
【Spark精讲】一文讲透SparkSQL物理执行计划
【Spark精讲】一文讲透SparkSQL物理执行计划，SparkPlan，LeafExecNode类型，BinaryExecNode类型
HBase中的数据版本控制与回滚策略
1.背景介绍1. 背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它广泛应用于大规模数据存储和处理，如日志记录、实时数据分析、时间序列数据等。在HBase中，数据版本控制和回滚策略是非常重要的，因为它们直接影响数据的一致性、可靠性和可用性。在本文
【四川省计算机学会主办 | 中国科协重要学术会议】人工智能与大数据国际会议(ICAIBD 2024)
第七届人工智能与大数据国际会议(ICAIBD 2024)将于2024年5月24-27日在中国▪四川▪成都召开。七年来，ICAIBD 2024由四川省计算机学会主办，四川省科学技术协会作为指导单位，四川大学，西南交通大学，电子科技大学，成都信息工程大学，中国民用航空飞行学院、中国东方航空研发中心联合协
CentOS7 Hive2.3.8安装
删空后加入以下内容，注意复制进去的时候不要少了>符号之类的小错误，此文件涉及到之前设置的密码Root123!,如果你不一样，记得改。复制备份hive-default.xml.template并命名为hive-site.xml。在文件最底下加，注意hadoop版本和java版本以及路径是否和我一样，不
基于Python+大数据的微博事件分析可视化系统设计与实现
今天带来的是基于Python+大数据的微博事件分析可视化系统，随着微博事件的常态化，如果依然采用传统的管理方式，将会为工作人员带来庞大的工作量，这将是一个巨大考验，需要投入大量人力开展对科技视频等相关工作进行管理，单一且反复的操作容易出错且不易被察觉，于是利用现代信息技术，设计开发一款微博事件分析与
Flink 1.18.1 部署与配置[CentOS7]
【代码】Flink 1.18.1 部署与配置[CentOS7]
涤生大数据实战：基于Flink+ODPS历史累计计算项目分析与优化（下）
计算链路较短，但如果发生Flink任务重启的情况，需要离线和实时两条线一起修复数据：离线补一次T-1数据到hbase + 离线初始化hbase中当日新用户数据为0 + Flink重启回拉消息位点到T日00:00，共计三步。非T日新增的老用户的数据在ODPS表里已存在，odps2hbase时会覆盖掉
大数据搭建
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
第八章：AI大模型的部署与优化8.1 模型压缩与加速8.1.2 量化与剪枝
AI 大模型的部署与优化-8.1 模型压缩与加速-8.1.2 量化与剪枝作者：禅与计算机程序设计艺术8.1 模型压缩与加速8.1.1 背景介绍随着深度学习技术的不断发展，人工智能模
Flink的窗口操作及其应用场景
1.背景介绍Flink的窗口操作及其应用场景作者：禅与计算机程序设计艺术1. 背景介绍1.1 Streaming 数据处理Streaming 数据处理是当今许多应用程序所需要的一个重要功能。Streaming 数据指的是持续的、高速的数据流，如传感器数据、网络日志、交易记录等。随着互联网的普及和物联
大数据 - Spark系列《八》- 闭包引用
本文将深入探讨闭包引用的原理和应用。首先，我们将介绍闭包引用的概念及其副本的形成机制。随后，通过两个实例代码演示闭包引用在 Spark 中的具体应用场景。接下来，我们将讨论使用 Source.fromFile 和 sc.textFile 两种方法读取数据的差异和适用场景。最后，我们会总结闭包引用的注
HiveSQL——共同使用ip的用户检测问题【自关联问题】
HiveSQL——共同使用ip的用户检测问题【自关联问题】
【知识整理】产研中心岗位评定标准之基建运维岗位
为贯彻执行集团数字化转型的需要,该知识库将公示集团组织内各产研团队不同角色成员的职务“职级”岗位的评定标准;
实时Flink的检查点与恢复机制
1.背景介绍在大规模数据处理系统中，实时性能是至关重要的。Apache Flink是一个流处理框架，可以处理大量实时数据，并提供高性能和低延迟的数据处理能力。为了确保系统的可靠性和容错性，Flink提供了检查点(Checkpoint)和恢复机制。本文将深入探讨Flink的检查点与恢复机制，揭示其核心
Hadoop-Yarn-NodeManager如何计算Linux系统上的资源信息
Hadoop-Yarn-NodeManager都做了什么>中讲节点资源监控服务（NodeResourceMonitorImpl）时只是提了下SysInfoLinux，下面我们展开讲下SysInfoLinux是用于计算Linux系统上的资源信息的插件。
Hadoop的介绍与安装
HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。MapReduce是一个分布式计算框架：MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分（Map计算/Reduce计
