Kafka学习笔记(一)Linux环境基于Zookeeper搭建Kafka集群、Kafka的架构
以下是Kafka官网的介绍：Apache Kafka 是一个开源的分布式事件流平台，被数千家公司用做高性能数据管道、流分析、数据集成和关键任务应用程序。超过80%的财富100强公司信任并使用Kafka。发布（写入）和订阅（读取）事件流，包括从其他系统连续导入/导出数据。根据需要持久可靠地存储事件流。
【大数据】Gossip协议
Gossip协议是一种去中心化的通信协议，它模仿了人类传播八卦的方式，通过网络中的节点相互之间传播信息。在计算机网络中，Gossip协议主要用于分布式系统中，以实现数据的一致性和同步。该协议的特点是每个节点都会定期地与其他节点交换信息，信息会像病毒一样在系统中传播开来，直到所有节点都获得最新的数据。
Kafka配置SASL认证
在本博客中我们使用SASL/PLAIN的方式来进行Kafka加密。
Hadoop完全分布式集群的搭建【详细教程】
在当今的大数据时代，数据量的爆炸性增长对数据处理能力提出了前所未有的挑战。传统的数据处理工具和方法已经无法满足日益增长的需求，这就需要更高效、更强大的技术来应对这些挑战。Hadoop作为一个开源的分布式计算框架，因其卓越的可扩展性和高效的数据处理能力，已经成为处理大规模数据集的首选工具之一。让我们一
hadoop3.3.6完全分布式搭建
（3）在 master 节点中使用 hadoop 用户依次配置 hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-env.sh、mapred-site.xml、yarn-env.sh、yarn-site.xml、workers 配置文件，Hadoop
(Kafka源码五)Kafka服务端处理消息
Kafka 服务端（Broker）采用 Reactor 的架构思想，通过1 个 Acceptor，N 个 Processor(N默认为3)，M 个 KafkaRequestHandler（M默认为8），来处理客户端请求，这种模式结合了多线程和事件驱动的设计，优点是能够有效地利用系统资源，可以实现高效
机器学习中的并行与分布式深度学习：C/C++实现详解
并行深度学习是指在单台机器或单个集群内通过并行处理来加速模型训练。数据并行（Data Parallelism）：将数据划分为多个部分，同时在多个处理器上训练同一个模型副本。模型并行（Model Parallelism）：将模型的不同部分划分到不同的处理器上，在每个处理器上运行模型的一部分，适用于特别
rabbitmq整合skywalking并编写自定义插件增强
rabbitmq整合skywalking首先先下载准备好skywalking 的服务端和ui控制台，java-agenthttps://skywalking.apache.org/downloads/整合skywalking我的流程是在生产者和消费者服务中去引入一个mq的sdk，具体SDK的内容可以
Spark数据介绍
RDD适合需要高度定制化的数据处理逻辑，对容错性要求高的批处理任务。DataFrame适合处理结构化数据，需要快速开发周期，易于使用 SQL 查询的场景。Dataset：结合了 RDD 和 DataFrame 的优点，提供了类型安全和优化执行的能力，适合需要结构化数据处理同时需要一定程度自定义逻辑的
在RabbitMQ中四种常见的消息路由模式
【代码】在RabbitMQ中四种常见的消息路由模式。
Hadoop单节点集群的搭建
本文基于这一网页的整理创作，旨在进行基于Linux系统环境下的搭建思路分享。
从 Kafka 到 WarpStream： 用 MinIO 简化数据流
虽然 Apache Kafka 长期以来一直是流数据的行业标准，但新的创新替代方案正在重塑生态系统。其中之一是 WarpStream，它最近在 Confluent 的所有权下进入了新的篇章。此次收购进一步增强了 WarpStream 提供高性能、云原生数据流的能力，巩固了其作为 Kafka 的可扩展
基于Hadoop的天气预报数据爬取与可视化分析
Django-Admin来自django.contrib也就是Django的标准库，默认被配置好，只需要激活启用即可，它的优势在于可以快速对数据库的各个表进行增删改查，一行代码即可管理一张数据库表，相比于手动后台1个模型一般需要4个urls，4个视图函数和4个模板，可以说Django完成了一个程序编
【RabbitMQ 项目】项目概述
项目概述，对模块划分
架构设计：系统间通信（28）——Kafka及场景应用（中1）
Apache Kafka的安装过程非常简单。为了节约篇幅我不准备像介绍Apache ActiveMQ那样，专门花费笔墨来介绍它的单机（单服务节点）安装过程和最简单的生产者、消费者的编码过程。而是换一种思路：直接介绍Apache Kafka多节点集群的安装过程，并且在这个Apache Kafka集群中
分布式框架 - ZooKeeper
是一个分布式程序的协调服务，是Hadoop和Hbase的重要组件。提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
运维学习————kafka(1)
kafka中文文档kafka是由apache软件基金会开发的一个开源流处理框架，由JAVA和scala语言编写。是一个高吞吐量的分布式的发布和订阅消息的一个系统。Kafka用于构建实时的数据管道和流式的app.它可以水平扩展，高可用，速度快，并且已经运行在数千家公司的生产环境。
Spark的介绍
DataBricks官网：https://databricks.com/spark/aboutspark的诞生其实是因为MR计算引擎太慢了。MR计算是基于磁盘的，Spark计算是基于内存的。spark的发展历程：2009年，Spark诞生于伯克利AMPLab，伯克利大学的研究性项目。2014年2月成
消息队列和KafKa
消息 + 队列 （Message + Queue） 简称MQ。消息队列本质就是个队列，FIFO先入先出，只不过队列中存放的内容是Message，从而叫消息队列。消息队列的主要用途就是在不同的服务、进程、线程之间进行通信。解耦：允许我们独立的扩展或修改队列两边的处理过程。可恢复性：即使一个处理消息的进
（四十一）大数据实战——spark的yarn模式生产环境部署
Spark 是一个开源的分布式计算系统。它提供了高效的数据处理能力，支持复杂的数据分析和处理任务，是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布
