hive：insert into/overwrite插入分区详解
最近在做数据清洗的工作，从ods层到dwd层对数据进行标准化。有多张表需要汇入主题表，因为表中的字段比较多，况且也不统一，需要从指定字段拿数据，并且清洗，最后汇入主题表。PS：又结束了一天忙碌的工作，祝愿大家开心生活每一天。
Flink数据流动全观察：代理技术实现细节记录与分析（附完整源码）
代理技术实现Flink流动数据细节记录与分析
基于flink&hudi批流一体技术
Hudi是Hadoop Updates and Incrementals的简写，它是由Uber开发并开源的Data Lakes解决方案。Hudi 用于管理的数据库层上构建具有增量数据管道的流式数据湖，同时针对湖引擎和常规批处理进行了优化。简言之，Hudi是一种针对分析型业务的、扫描优化的数据存储抽象
kafka源码学习（二）服务端源码
本篇主要说明了源码学习过程中服务端的相关知识点。通过本章节的学习，1、对服务端的网络、存储、副本同步、集群管理相关的细节又回顾了一篇，比之前死记硬背好很多。2、感觉很多架构的设计还是来源于实际需求，当然kafka的核心点就是：异步、削峰、解耦。注意：1、Kafka网络设计，理解超高并发的网络设计2、
毕业设计：python全国天气气象数据爬取分析可视化系统+大屏+大数据（源码+文档
（6）数据采集页面。
hadoop格式化失败-拒绝连接
以上就是今天要讲的内容，本文仅仅简单介绍了格式化失败-拒绝连接的原因及解决办法，本文搭建的是hadoop的高可用集群经常会遇到的问题。Hadoop的高可用性：Hadoop的NameNode包括active和standby两种状态，通过故障转移机制（即当active NameNode意外终止时，快速启
hive的安装
hive的安装
毕业设计：基于大数据的气象数据预测与可视化系统 python
毕业设计：基于大数据的气象数据预测与可视化系统将介绍该系统的设计和实现原理，以及应用于气象数据分析和可视化的关键算法和技术。通过深度学习和计算机视觉技术，该系统能够从多个数据源爬取大量的气象数据，并进行数据清洗、特征提取和分析。通过可视化手段，用户可以直观地了解气象数据的趋势、变化和相关因素，以及预
一篇文章告诉你CentOS7中从0到1搭建kafka消息中间件
在 CentOS 7 上安装 Apache Kafka 需要一些准备步骤，主要包括安装必要的依赖、下载 Kafka 以及配置 Zookeeper 和 Kafka 服务。
一篇文章教会你如何安装zookeeper和hbase(超详细版)
ZooKeeper 是一个开源的分布式协调服务，ZooKeeper 框架最初是在“Yahoo!"上构建的，用于以简单而稳健的方式访问他们的应用程序。ZooKeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。Zoo
使用FlinkCDC从mysql同步数据到ES，并实现数据检索
随着公司的业务量越来越大，查询需求越来越复杂，mysql已经不支持变化多样的复杂查询了。于是，使用cdc捕获MySQL的数据变化，同步到ES中，进行数据的检索。
Hive学习
Hive 通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的 Driver， 结合元数据(MetaStore)，将这些指令翻译成 MapReduce，提交到 Hadoop 中执行，最后，将 执行返回的结果输出到用户交互接口。Hive 中的元数据通常包含表名、列、分区及其相关属性，
【WPF应用37】WPF基本控件-DatePicker的详解与示例
WPF基本控件-DatePicker的详解与示例
hadoop HA菜鸟级别搭建教程
NameNode提供服务，两个NameNode存储的元数据是实时同步的，当Active的NameNode出现问题时，通过zk实时切换到Standby的NameNode上，并将Standby改为Active状态。这个是名为master的容器，将容器内的端口映射到主机上，分别将容器内的 8088、987
深入探索：Zookeeper+消息队列（kafka）集群
本文主要介绍zookeeper集群+kafka集群的部署，希望对你有帮助！
sgg大数据全套技术链接网盘地址
感谢尚硅谷
深入解析Kafka中的Lag现象
本文将带您深入研究Apache Kafka中的Lag现象，揭示在分布式系统中消息延迟背后的奥秘。了解Lag的机制对于确保消息的实时性、优化系统性能以及监控分布式系统的稳定性至关重要。我们将深入探讨Lag的定义、影响因素、监控与调优策略，为您呈现Lag的全貌。
Flink基本原理剖析讲解
Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性
Kafka 2.13-3.7.0 在 Windows 上的安装与配置指南
Kafka 2.13-3.7.0 在 Windows 上的安装与配置指南
hive内置函数--floor,ceil,rand三种取整函数
返回一个0到1范围内的随机数。如果指定种子seed，则会返回固定的随机数。返回等于或者小于该double变量的最大的整数。返回等于或者大于该double变量的最小的整数。
