Flink｜《Flink 官方文档 - 部署 - 内存配置 - 配置 Flink 进程的内存》学习笔记
Flink JVM 进程的进程总内存（Total Process Memory）包含了由 Flink 应用使用的内存（Flink 总内存）以及由运行 Flink 的 JVM 使用的内存。如果配置了总内存和其他内存部分的大小，那么 Flink 也有可能会忽略给定的占比。因为进程总内存中所有其他内存部分
2024.1.5 Hadoop阶段,各组件工作原理,八股文,面试题
leader宕机后启动: 每一个leader当老大的时候,都会产生新纪元epoch,且每次操作完节点数据都会更新事务id(高32位_低32位) ,当leader宕机后,剩下的follower就会综合考虑几个因素选出最新的leader,先比较最后一次更新数据事务id(高32位_低32位),谁的事务id
【Kafka-3.x-教程】-【一】Kafka 概述、Kafka 快速入门
Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。缓冲/消峰：有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。异步通信：允
微服务注册中心之Eureka
最近无意间获得一份阿里大佬写的刷题笔记和面经，一下子打通了我的任督二脉，进大厂原来没那么难。这是大佬写的，
林浩然与Hadoop的奇幻数据之旅
在一个名为“比特村”的地方，住着一位名叫林浩然的程序员大侠。他并非江湖上常见的武艺高强之人，而是凭借一把键盘、一支鼠标，纵横在大数据的海洋里。一日，林浩然接到了一封神秘邮件，邀请他探索一个名为"Hadoop"的秘密王国。
RabbitMQ如何保证消息不丢失
当生产者通过 Confirm 模式发送消息时，它会等待 RabbitMQ 的确认，确保消息已经被正确地投递到了指定的 Exchange 中。当消息被消费者成功处理后，消费者发送确认（ACK）给 RabbitMQ，告知消息可以被移除。针对上述三种消息丢失场景，RabbitMQ 提供了相应的解决方案，c
kafkak集群的安装部署
1. 三台主机都需要安装好jdk2. 三台主机都要配置好zookeeper3. 准备好kafka压缩包二、kafka集群的安装1. 上传压缩包2. 解压3. 创建消息目录4.修改server.properties文件5. 分发 kafka安装目录6. 修改HadoopSlave01,HadoopSl
微服务架构+服务注册中心+Nacos和Eureka+比较分析
微服务架构+服务注册中心+Nacos和Eureka+比较分析
10款优秀的Kafka管理工具分享
它提供了全面的集群管理功能，包括主题和分区的创建、消费者组的监控和管理，以及实时的指标和日志分析。它提供了灵活的数据模型和强大的查询语言，可以帮助您收集、存储和分析Kafka集群的指标数据。它提供了一个直观的用户界面，可以让您轻松地查看主题、分区和消费者组的状态，创建和修改主题，以及监控消息的生产和
jdk+zookeeper+kafka 搭建kafka集群
环境资源包：jdk-8u341-linux-x64.tar.gzkafka_2.12-2.2.0.tgzzookeeper-3.4.14.tar.gz因为kafka需要Java环境，所以优先配置jdk环境，若已经配置了java环境，此步骤可以忽略二、zookeeper集群安装二、kafka集群安装至
zookeeper：启动后占用8080端口问题解决
我们经常在运行zookeeper服务时，不需要配置服务端口，服务默认会使用8080端口。若此端口与系统其他服务冲突，就需要手动变更zookeeper的服务端口。修改端口的方法是，打开配置文件zoo.cfg，在文件末行添加以下内容。# admin.serverPort 默认占8080端口。
大数据为智能家居带来的汽车变革
1.背景介绍随着互联网的普及和人工智能技术的发展，智能家居已经成为了人们生活中不可或缺的一部分。智能家居通过将传感器、摄像头、微控制器等设备与互联网联网，实现了家居设施的智能化管理和控制。这种智能家居的发展为多个行业带来了深远的影响，尤其是汽车行业。在这篇文章中，我们将探讨大数据如何为智能家居带来汽
RabbitMQ（一）
安全选RocketMQ，高吞吐选kafka，对这两个方面没有那么高的话就选RabbitMQ。
大数据 - Spark系列《一》- 从Hadoop到Spark：大数据计算引擎的演进
通过本文，您将了解到Hadoop与Spark的基础知识，并掌握Spark编程的基本流程和实践经验。
centos7安装erlang23.3.4.11及rabbitmq3.9.16版本
rpm包有系统版本要求，el是Red Hat Enterprise Linux(EL)的缩写。所以我们在安装erlang及rabbitmq时需要选择与自己的服务器相对应的rpm包。EL8是Red Hat 8.x, Centos 8.x。EL7是Red Hat 7.x，Centos 7.x。# 查看e
SpringBoot整合Dubbo和Zookeeper分布式服务框架使用的入门项目实例
Dubbo和Zookeeper分布式服务框架使用的入门项目实例
Kafka(二）原理详解
在Kafka集群中会有一个或者多个broker，其中有一个broker会被选举为控制器（Kafka Controller），它负责管理整个集群中所有分区和副本的状态。：leader副本出现故障时，选举新的leder；检测到某个分区的ISR发生变化时，通知所有borker更新元数据；分区数量发生变化时
HBase性能优化：HBase性能的监控与优化
1.背景介绍1. 背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase具有高可靠性、高性能和易用性，适用于大规模数据存储和实时数据处理。随着
Flink vs. Spark：特点、区别和使用场景
Flink 和 Spark 都是强大的大数据处理框架，各自有着独特的特点和适用场景。通过本文的比较，可以更深入地了解它们，并根据自身需求选择适合的框架来处理数据。掌握两者的优劣势有助于更好地应用于大数据处理和实时计算场景。
【分布式技术】消息队列Kafka
主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发 too many connection 错误，引发雪崩效应。我们使用消息队列，通过异步处理请求，从而缓解系统的压力。消息队列常应用于异步处理，流量削峰，
