Hive数据库操作
原因：手动在hdfs创建的分区目录信息，并没有保存到元数据库中，所以查询的时候从mysql元数据库查询不到country=en的分区信息，所以查不到数据。方案一（手动修复）：想要读取到country=en分区的数据，可以添加country=en分区的元数据信息到mysql。思考：能否手动在hdfs添
Kafka系列之Kafka知识超强总结
Kafka 集群包含一个或多个服务器，服务器节点称为broker。broker存储topic的数据。如果某topic有N个partition，集群有N个broker，那么每个broker存储该topic的一个partition。如果某topic有N个partition，集群有(N+M)个broker
大数据 深度学习毕设课题帮助
🔥 这里是丹成学长，毕业季马上就要开始了，不少同学询问学长管理选题开题类的问题。今天跟大家分享信息安全毕设选题 ~最新的信息安全(网络安全)专业毕设选题，难度适中，适合作为毕业设计，大家参考。学长整理的题目标准：🧿 选题指导, 项目分享：见文末最近非常多的学弟学妹问学长关于选题的问题，所以今天学
HBase与Hive数据交互
其中t_gdp是原始数据表，tmp_gdp_table是和hbase中gdp表关联的外部表，将t_gdp表中的数据insert到了tmp_gdp_table表中，正常的业务中，可能是查询了多个表，通过sql处理将数据存到tmp_gdp_table中，然后通过外部表映射的方式同步到habse的gdp表
Kafka 实战 - Kafka-Kraft模式
总之，Kafka-Kraft 模式为 Kafka 集群提供了一种更为简洁、高效的元数据管理方案，简化了架构、提升了性能，并增强了容错性。在实战中，应充分考虑其部署、配置、迁移、监控与运维的特点，结合业务需求制定合适的策略，确保 Kafka 集群在 KRaft 模式下的稳定、高效运行。KRaft 模式
Flink 基于 TDMQ Apache Pulsar 的离线场景使用实践
Apache Flink是一个开源的流处理和批处理框架，具有高吞吐量、低延迟的流式引擎，支持事件时间处理和状态管理，以及确保在机器故障时的容错性和一次性语义。
分布式锁和消息队列：Redis和RabbitMQ的实现
1.背景介绍在现代互联网应用中，分布式系统已经成为主流。分布式系统具有高性能、高可用性和高扩展性等优点，但同时也带来了一系列复杂性，如数据一致性、分布式锁、消息队列等。在这篇文章中，我们将深入探讨分布式锁和消息队列的实现，以及如何使用Redis和RabbitMQ来解决这些问题。2.核心概念与联系2.
Hadoop 请求数据长度 Requested Data length 超过配置的最大值
Spark 任务速度变慢，也不失败。DataNode 内存足够 CPU 负载不高 GC 时间也不长。查看 DataNode 日志，发现有些日志出现很多 Netty RPC 超时。
不同策略下的Kafka主题创建
创建主题时，Topic的Partition自动划分时，默认根据节点及磁盘上已有的Partition数进行均衡划分，如果期望根据磁盘容量进行Partition划分，那么需要修改Kafka服务配置“log.partition.strategy”为“capacity”。Kafka创建Topic时，支持基于
初始化hive的元数据库报：bash: schematool: 未找到命令
链接：https://pan.baidu.com/s/1oK7pJkduLoRQRW4QCZpqBA。将其换位hadoop下的guava-27.0-jre.jar rm -r guava-19.0.jar。删除hive/lib目录下原有的 protobuf-java-2.5.0.jar 文件。--
Day9——学习spark
在数据计算层，作为Hadoop核心组成的MapReduce可以结合Hive通过类SQL的方式进行数据的离线计算（当然也可以编写独立的MapReduce应用程序进行计算）；而Spark既可以做离线计算（Spark SQL），又可以做实时计算（Spark Streaming），它们底层都使用的是Spar
Flink On Kubernetes部署讲解
学习我们了解了theflinkonyour的一些集群的一些原理，以及它的一个部署的一些实践的一些操作。在这节课程的话，我们去了解一下flinkonk8S的这样的一个集群部署的一些原理，以及相应的一些实践的一些操作。首先我们来看一下combotest集群的一个架构的一个概览。Carbonates也叫做
Flink Sql：四种Join方式详解（基于flink1.15官方文档）
Regular Joins（常规连接 ），Interval Joins（间隔连接），Temporal Joins（时态连接），lookup join（查找连接）
Kafka 工具
以上列举了一些常用的Kafka工具，根据实际需求，用户可以选择合适工具进行Kafka集群的管理和监控、数据集成、流处理等工作。同时，Kafka生态中还有许多其他工具和插件，不断丰富着Kafka的功能和应用场景。Apache Kafka生态系统中提供了许多实用的工具，帮助用户更好地管理、监控、测试和集
Hadoop：全面深入解析
本文从定义、架构、原理、应用场景、常见命令、安装与配置、性能优化、安全性、未来发展和社区支持等多个方面对Hadoop进行了全面深入的解析。希望通过本文，读者能够对Hadoop有一个清晰和全面的认识，并能够在实际工作中灵活运用这一强大的工具，解决大规模数据处理和分析的挑战。未来，随着大数据技术的发展，
【2024】kafka原生以及配合springboot的使用（Kafka-3）
本文主要是介绍通过使用原生代码方式和结合springboot分别如何更好的去使用理解kafka如果需要看理论或者安装kafka可以看我前面两篇内容🍅kafka使用和安装。
hadoop词频统计
此文章基于搭建好hadoop之后做的词频统计实验，以上是链接。
Kafka中的时间轮算法
两种解决方案：使用增加轮次/圈数的概念（Netty 的 HashedWheelTimer ）、使用多层时间轮的概念 （Kafka 的 TimingWheel）。1.1 DQ插入和删除操作都是O(log n)，时间轮算法的插入和删除操作都是 O(1) -> 底层是任务的添加和删除是基于链表实现的。Ka
06 - metastore服务、hive服务启动脚本以及相关使用技巧
Hive的metastore服务的作用是为Hive CLI或者Hiveserver2提供元数据访问接口。metastore有两种运行模式，分别为嵌入式模式和。下面分别对两种模式进行说明：（1）嵌入式模式（2）独立服务模式生产环境中，不推荐使用嵌入式模式。因为其存在以下两个问题：（1）嵌入式模式下，每
毕设分享 基于大数据的抖音短视频数据分析与可视化
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩基于大数据的抖音短视频数据分析与可视化🥇
