微服务框架下，因发送端与消费端的vhost不一致，导致rabbitmq出现严重的消息堆积
在生产环境下，rabbitmq机器出现磁盘空间不足的报警，发现是某个队列的消息只有生产，迟迟没有消费。之所以出现rabbitmq消息堆积，是因为消费程序所在的vhost与消息生产者所在的vhost不是同一个。下面将逐步说明其排查过程，以及解决方法。
FlinkSQL 开发经验分享
FlinkSQL 的开发是最方便高效的实时数据需求的实现途径，但是它和离线的 ODPS SQL 开发在底层的机制和原理上还是有很大的区别，根本的区别就在于流和批的处理。如果按照我们已经习惯的离线思维来写 FlinkSQL，就可能会出现一些“离奇”的结果，但是遇到问题并不可怕，要始终相信根本不存在任何
Kafka 3.x.x 入门到精通（02）——对标尚硅谷Kafka教程
Kafka是一个由Scala和Java语言开发的，经典高吞吐量的分布式消息发布和订阅系统，也是大数据技术领域中用作数据交换的核心组件之一。以高吞吐，低延迟，高伸缩，高可靠性，高并发，且社区活跃度高等特性，从而备受广大技术组织的喜爱。
23、Flink 的 Savepoints 详解
Flink 的 Savepoints 详解
Hadoop入门—HDFS、MR、Yarn【看这一篇就够了！】
hadoop生态及架构，HDFS存储方式、Yarn资源调度、MR并行计算
Go 使用 RabbitMQ---------------之一
RabbitMQ 是一种消息代理。消息代理的主要目的是接收、存储并转发消息。在复杂的系统设计和微服务架构中，RabbitMQ 经常被用作中间件来处理和转发系统之间的消息，以确保数据的一致性和可靠性。正是因为提供了可靠的消息机制、跟踪机制和灵活的消息路由，常常被用于排队算法、秒杀活动、消息分发、异步处
事务处理：HBase事务处理与原子性
1.背景介绍在大数据时代，HBase作为一个高性能、可扩展的列式存储系统，已经广泛应用于各种场景。事务处理是HBase的核心功能之一，它可以确保数据的原子性、一致性、隔离性和持久性。本文将深入探讨HBase事务处理与原子性的相关知识，并提供一些最佳实践和实际应用场景。1. 背景介绍事务处理是数据库系
Spark-Shuffle阶段优化-Bypass机制详解
Spark——Bypass机制详解
医疗大数据：数据分析与预测
1.背景介绍医疗大数据是指在医疗领域中涉及的大规模数据，包括患者病历数据、医疗图像数据、医疗设备数据、医学研究数据等。随着医疗领域的发展，医疗大数据的规模和复杂性不断增加，为医疗领域提供了巨大的机遇和挑战。医疗大数据的应用主要体现在以下几个方面：1.1 个性化医疗：通过分析患者的基因、生活习惯和生理
Eureka介绍与使用
Eureka 是一个强大的服务注册和发现工具，适用于微服务架构。通过 Eureka，服务提供者可以注册自己的服务信息，服务消费者可以发现并调用这些服务。Eureka 提供了高可用性和容错性，确保了服务的稳定运行。通过 Spring Cloud 的支持，Eureka 的使用变得更加简单和便捷。
如何系列 如何确保Kafka消息可靠性/防止消息丢失
当出现网络的瞬时抖动时，消息发送可能会失败，此时配置了retries > 0的Producer能够自动重试消息发送，避免消息丢失。如果一个Broker落后原先的Leader太多，那么它一旦成为新的Leader，必然会造成消息的丢失。其实这里想表述的是，最好将消息多保存几份，毕竟目前防止消息丢失的主要
Hive 内部与外部表
外部表被drop后，表的metadata会被删除，但是data不会被删除。（1）外部表：因其指删除表时不会删除HDFS上的数据，安全性相对较高，且指定目录的特性，适合数据需要共享或者数据的处理需要 hive和其他工具一起处理的场景。Hive中的表可以分为内部表（managed table）和外部表（
Linux 搭建 Kafka 环境 - 详细教程
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来处理流式数据非常有价值。
Hadoop平台搭建运行
rw-------. 1 hadoop hadoop 395 11月 14 16:18 authorized_keys。-rw-------. 1 hadoop hadoop 395 11月 14 16:18 authorized_keys。-rw-------. 1 hadoop hadoop 3
Spring-kafka消费者消费的一些问题
Apache Kafka 是一个分布式流处理平台，广泛用于构建实时数据管道和流应用程序。发布和订阅记录流：类似于消息队列或企业消息传递系统。存储记录流：存储数据流容错。处理记录流：实时或批处理方式处理数据流。Spring Kafka 是 Spring 框架的一个子项目，提供了用于与 Kafka 集成
基于Hadoop的招聘数据可视化系统实现（爬虫、hadoop+hive、flask+echarts、薪资预测、岗位推荐）
本文利用Flask框架设计并实现了一个AI岗位招聘数据可视化系统。首先，系统利用Selenium技术实现对网页数据的自动抓取；接着，构建由三台服务器组成的Hadoop集群，并将爬取数据存储在HDFS分布式文件系统中，使用基于Spark的Hive数据仓库进行数据处理和分析，生成得到的分析数据用可视化方
【微服务】SpringCloud-eureka光速入门
Eureka 是 Netflix 开源的一个服务注册和发现工具，主要用于构建分布式系统中的服务发现机制。它在 Spring Cloud 生态系统中广泛使用，尤其在微服务架构中扮演重要角色。
Hadoop的SSH免密登录配置(三台虚拟机
-------------------------------结束----------------------------并分别修改hosts文件，将主机名与相应的IP地址对应上。3.三台虚拟机分别运行以下命令，清除原有的密钥信息。分别设为master、slave1、slave2。分发完后，重复步骤
Hive知识体系保姆级教程
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。其本质是将SQL转换为MapReduce/Spark的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapReduce/Spark的任务的工具，甚
