2024.1.11 Kafka 消息队列,shell命令,核心原理
同时，Kafka还支持对消息进行压缩，减小了消息的存储空间，降低了网络传输的开销，进一步提高了读写性能。它通过直接内存访问（DMA）技术，将数据从磁盘读取到内存或者从内存写入到磁盘，避免了数据的多次复制，减少了IO操作的开销，提高了读写性能。它将数据分成多个分区，并将这些分区分布在不同的节点上，实现
Zookeeper安全性考虑：防范潜在的安全风险
1.背景介绍在分布式系统中，Zookeeper是一个非常重要的组件，它提供了一种可靠的、高性能的协调服务。然而，在实际应用中，Zookeeper也面临着一系列的安全风险。为了确保Zookeeper的安全性，我们需要深入了解其中潜在的安全风险，并采取相应的防范措施。1. 背景介绍Zookeeper是一
Message Queue --- RabbitMQ
MQ全称是Message Queue，消息的队列，因为是队列，所以遵循FIFO 先进先出的原则，它是一种跨进程的通信机制，用于上下游传递消息。在互联网架构中，MQ是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。
Eureka整合seata分布式事务
在微服务的大环境下，服务按照业务维度拆分之后会遇到事务不一致问题，Seata的开源填补了两阶段提交这种模式，并且无业务代码的侵入，这里采用eureka集群整合Seata。
kafka hang 问题记录
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list 命令就能够列出该 Kafka 集群中的全部消费者组。Kafka集群的每个partition都有一个leader，所以一个topic可能有多个leader，分别负责不同的
Kafka常见指令及监控程序介绍
kafka在流数据、IO削峰上非常有用，以下对于这款程序，做一些常见指令介绍。下文使用–bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092需自行填写各自对应的集群IP和kafka的端口。该写法 等同。
Kafka 的消息格式：了解消息结构与序列化
在某些情况下，你可能需要定义自己的消息格式。Kafka 提供了和，允许你将消息以字节数组的形式发送和接收，从而实现自定义的序列化和反序列化逻辑。// 生产者端// 消费者端});在深入探讨Kafka消息格式、版本控制、安全性和监控等关键主题后，对构建高效、灵活的消息系统有了更为全面的认识。了解消息结
ZooKeeper 应用场景深度解析
在分布式系统中，配置的一致性和动态更新是系统稳定性的基石。利用ZooKeeper的强一致性，能够保证在分布式高并发情况下节点创建的全局唯一性，即：同时有多个客户端请求创建 /currentMaster 节点，最终一定只有一个客户端请求能够创建成功。数据发布/订阅的一个常见的场景是配置中心，发布者把数
HADOOP 保姆级环境搭建及知识总结
首先在官网下载JDK和Hadoop登录Linux到root用户下，创建两个文件目录，例如：module，software两个文件目录，通过FinalShell将两下载好的两个文件上传到module目录下，通过命令将两个文件解压到创建的另外一个目录中去解压完两个文件之后，配置环境变量。配置完上面的两个
RabbitMQ 部署指南
在Centos7虚拟机中使用Docker来安装。
Kafka在美团数据平台的实践
基于Kafka的应用层去实现，具体就是Kafka的数据按照时间维度存储在不同设备上，对于近实时数据直接放在SSD上，针对较为久远的数据直接放在HDD上，然后Leader直接根据Offset从对应设备读取数据。这种方案的优势是它的缓存策略充分考虑了Kafka的读写特性，确保近实时的数据消费请求全部落在
Spark大数据分析与实战笔记（第三章 Spark RDD弹性分布式数据集-01）
RDD (Resilient Distributed Dataset)，即弹性分布式数据集，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并且还能控制数据的分区。对于迭代式计算和交互式数据挖掘，RDD可以将中间计算的数据结果保存在内存中，若是后面需要中间结果参与计算时，则可
大数据技术之Hadoop
hadoop之父：道格 卡丁。
Kafka连接zookeeper超时
配置文件检查好几遍没有错，防火墙也没有开，zookeeper正常启动，配置的都是内网。终于，也是瞎猫碰死耗子，修改了kafka连接zookeeper的超时时间，然后居然启动了！一个头疼的事：kafka和zookeeper，部署在一台服务器，zookeeper正常启动，配置也没任何问题。但是kafka
【SpringBoot篇】解决Redis分布式锁的 误删问题 和 原子性问题
如果属于自己，则不进行锁的删除，假设还是上边的情况，线程1卡顿，锁自动释放，线程2进入到锁的内部执行逻辑，此时线程1反应过来，然后删除锁，但是线程1，一看当前这把锁不是属于自己，于是不进行删除锁逻辑，当线程2走到删除锁逻辑时，如果没有卡过自动释放锁的时间点，则判断当前这把锁是属于自己的，于是删除这把
3.0 Hadoop 概念
本章着重介绍 Hadoop 中的概念和组成部分，属于理论章节。如果你比较着急可以跳过。但作者不建议跳过，因为它与后面的章节息息相关。
RabbitMQ——高级篇
rabbitmq的高级篇
Maxwell+RabbitMq实现数据同步
Maxwell是由美国Zendesk开源，用Java编写的MySQL等关系型数据库的实时抓取软件，能够实时抓取MySQL二进制日志binlog，并生成JSON格式的消息，作为生产者发送给kafaka、RabbitMQ、Redis等系统的应用程序。ETL、维护缓存、收集表级别的DML指标、增量数据同步
08、Kafka ------ 消息存储相关的配置--＞消息过期时间设置、查看主题下的消息存活时间等配置
Kafka ------ 消息存储相关的配置-->消息过期时间设置、查看主题下的消息存活时间等配置
Zookeeper之手写一个分布式锁
本篇最要是进一步加深学习ZK，算是一次简单的实践，巩固学习成果。
