docker-compose部署kafka单机和集群
从 3.3 版本后，Kafka 引入了 KRaft 来替代 ZooKeeper，所以我们不必再部署 zk 了。选择集群切换 -> 新增集群，填好配置后，选择切换，就可以管理我们的 kafka 集群了。这里部署了 3 个 Broker，即 Kafka1、Kafka2 和 Kafka3。我们之后测试肯定
【RabbitMQ】延迟队列之死信交换机
延迟队列是一种特殊类型的消息队列，它允许将消息在一定的延迟时间后才被消费。在传统的消息队列中，消息一旦发送到队列中就会立即被消费者获取并处理。而延迟队列则提供了一种延迟消息处理的机制。
如何基于Flink实现定制化功能的开发
技术为需求服务，通用需求由开源软件提供功能，一些特殊的需求，需要基于场景定制化开发功能。而对于自定义开发功能，Flink则提供了这样的SDK接口能力。本文将从定制化功能需求分析和如何基于Flink构建定制化需求功能两个方面分享描述。
大数据Hadoop教程-学习笔记06【Hadoop生态综合案例：陌陌聊天数据分析】
大数据Hadoop教程-学习笔记06【Hadoop生态综合案例：陌陌聊天数据分析】
构建高效数据生态：数据库、数据仓库、数据湖、大数据平台与数据中台解析_光点科技
在数字化的浪潮中，一套高效的数据管理系统是企业竞争力的核心。从传统的数据库到现代的数据中台，每一种技术都在数据的旅程中扮演着关键角色。本文将深入探讨数据库、数据仓库、数据湖、大数据平台以及数据中台的功能和价值，帮助您构建一个符合自身业务需求的高效数据生态系统。
RabbitMQ系列之交换机的使用
在上一期的RabbitMQ系列的博客分享中我们对其MQ的概念及使用的场景有了一个初步的认识以及了解，并介绍了几种常见的实现的方式，有RabbitMQ、ActiveMQ、 Amazon Simple Queue Service （SQS）等等。本期博客基于上期博客的代码基础进行讲解RabbitMQ中的
Spring RabbitMQ那些事（3-消息可靠传输和订阅）
在RabbitMQ官方文档描述中，持久化的消息在Broker重启时也是应该存活的，这里的词用的是应该，因为消息有可能在落地磁盘前Broker就挂了，导致消息丢失。，一旦Broker处理完就会确认消息，而且这个过程是异步的，生产者可以流式发布消息，不需要等待Broker，并且Broker会批量高效将消
zookeeper简介
Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的 Apache 项目。
向量线性相关性：在大数据环境下的挑战与解决方案
1.背景介绍在大数据环境下，向量线性相关性(Vector Linear Correlation)成为了一个重要的研究热点。这是因为在大数据环境中，数据的规模、复杂性和速度都得到了大幅度的提高。因此，传统的线性相关性分析方法已经不能满足大数据环境下的需求。为了解决这个问题，我们需要研究一种新的线性相关
数据仓库与数据湖的区别与优劣
1.背景介绍数据仓库和数据湖都是在大数据领域中广泛应用的数据管理技术，它们在数据存储、处理和分析方面有着不同的特点和优劣。在本文中，我们将从以下几个方面进行深入探讨：背景介绍核心概念与联系核心算法原理和具体操作步骤以及数学模型公式详细讲解具体代码实例和详细解释说明未来发展趋势与挑战附录常见问题与解答
Kafka报错under-replicated partitions
Kafka报错under replicated partitions意味着某些分区的副本数量未达到预期的复制因子。主要有两种原因，Broker故障如果某个Kafka Broker发生故障，导致其中一些分区的副本不再可用，那么这些分区就会被标记为"under-replicated"副本分配策略在Kaf
Kafka 面试题合集
Kafka 面试题合集
大数据能力提升项目｜学生成果展系列之一
导读为了发挥清华大学多学科优势，搭建跨学科交叉融合平台，创新跨学科交叉培养模式，培养具有大数据思维和应用创新的“π”型人才，由清华大学研究生院、清华大学大数据研究中心及相关院系共同设计组织的“清华大学大数据能力提升项目”开始实施并深受校内师生的认可。项目通过整合建设课程模块，形成了大数据思维与技能、
【DolphinScheduler】datax读取hive分区表时，空分区、分区无数据任务报错问题解决
【DolphinScheduler】datax读取hive分区表时，空分区、分区无数据任务报错问题解决。最近在使用海豚调度DolphinScheduler的Datax组件时，遇到这么一个问题：之前给客户使用海豚做的离线数仓的分层搭建，一直都运行好好的，过了个元旦，这几天突然在数仓做任务时报错
实现分布式锁：Zookeeper vs Redis
而对于一些简单的场景，对实时性要求较高，且锁竞争不激烈的情况下，Redis分布式锁更为轻量且高效。希望通过本文的介绍，你能够更好地理解Zookeeper和Redis分布式锁的特性，为项目的分布式锁选择提供参考。在本文中，我们将深入探讨如何实现分布式锁，并比较Zookeeper和Redis的优劣，帮助
Redis与Kafka的集成
1.背景介绍在现代大数据时代，数据处理和存储的需求日益增长。为了更好地处理和存储大量数据，许多高性能的数据存储和处理技术已经出现。Redis和Kafka是其中两种非常重要的技术。Redis(Remote Dictionary Server)是一个开源的高性能的key-value存储系统，适用于存储和
Kafka的@KafkaListener注解参数详解
例子： @KafkaListener(topics = “my-topic”,properties={“enable.auto.commit=false”,“auto.offset.reset=earliest”})在同一应用中，如果有多个监听器，可以使用不同的id来标识不同的监听器容器。描述：指定
pyspark 笔记：窗口函数window
以作为分组条件，orderBy对Window分组内的数据进行排序# 以 department 字段进行分组，以 salary 倒序排序# 按照部门对薪水排名，薪水最低的为第一名后面的示例如无特殊说明，都是使用这个窗口规范。
Hive外表创建和加载数据
由于我们的源数据目录没有显示的指定分区字段，因此建表的时候没有指定 location，通过 load data inpath 命令来装载数据。1、load data 命令会移动数据2、load data inpath … overwrite 命令使用不当会导致数据被覆盖。3、通过 alter tab
zookeeper的安装与配置和启动闪退问题的解决（win）
官网下载地址：https://zookeeper.apache.org/releases.html#download。
