0


大数据-52 Kafka 基础概念和基本架构 核心API介绍 应用场景等

点一下关注吧!!!非常感谢!!持续更新!!!

目前已经更新到了:

  • Hadoop(已更完)
  • HDFS(已更完)
  • MapReduce(已更完)
  • Hive(已更完)
  • Flume(已更完)
  • Sqoop(已更完)
  • Zookeeper(已更完)
  • HBase(已更完)
  • Redis (已更完)
  • Kafka (正在更新…)

章节内容

上节我们完成了如下的内容:

  • Redis高可用 CAP-AP
  • Redis主从模式
  • Redis一主一从 一主多从
  • Redis哨兵模式
  • Redis哨兵模式 docker-compose测试

终于!我们更新完了Redis!现在我们开始更新Kafka。

Kafka介绍

Kafka最初是由Linkedin公司开发,是一个分布式、分区的、多副本、多生产者、多消费者、基于ZK的。
常见用于 Nginx 日志、消息服务。在2010年贡献给了Apache基金会成为顶级开源项目。

Kafka主要设计目标如下:

  • 以时间复杂度为O(1)的方式提供消息持久化的能力,即使TB级数据也能保证常数访问。
  • 高吞吐率,即使在非常廉价的机器上也可以有每秒100K条消息的传输
  • 支持KafkaServer间的消息分区,及分布式消费,同时保证每个Partition内的消息顺序传输。
  • 同时支持离线数据处理和实时数据处理
  • 支持在线水平扩展

在这里插入图片描述

生产消费图

在这里插入图片描述

消息模式

主流的消息传递有两种方式:点对点和发布订阅,Kafka属于 发布-订阅 模式的一种
对于消息中间件,消息会分为:拉、推。Kafka消息只有拉取,没有推送。(可以用轮询实现推送)

  • Kafka在一个或多个可以跨域多个数据中心的服务器上作为集群运行
  • Kafka集群按照主题分类管理,一个主题可以多个分区,一个分区可以有多个副本分区
  • 每个记录由一个键,一个值和一个时间戳组成。

核心API

  • ProducerAPI:允许应用程序记录流发布到一个或者多个Kafka主题
  • ConsumerAPI:允许应用程序订阅一个或多个主题并处理并生成记录流
  • StreamAPI:允许应用程序充当流处理器,使用一个或多个主题的输入流,并生成一个或者多个输出流。从而有效的将输入流转换为输出流。
  • ConnectorAPI:允许构建和运行将Kafka主题连接到现有应用程序或数据系统的可重用生产者或使用者

Kafka优势

  • 高吞吐:单机每秒处理几十百万的消息量,即使存储了TB消息,也能够稳定运行
  • 高性能:单节点支持上千个客户端,并保证零停机和零数据丢失。
  • 持久化数据存储:将消息持久化,通过数据持久化到磁盘以及replication防止数据丢失。
  • 分布式系统,易于向外扩展。所有Producer和Consumer等都可以有多个,分布式的,无需停机扩展。
  • Kafka是分布式、分区、复制、容错的
  • 客户端状态维护:消息被处理的状态在Consumer端维护,而不是由Server维护,失败能够自动平衡
  • 支持online和offline场景
  • 支持多种语言

应用场景

  • 日志收集:可以用Kakfa进行日志的收集
  • 消息系统:解耦生产者和消费者
  • 用户活动跟踪:用户行为被记录到Kafka中,消费者取到之后对用户的数据进行分析处理
  • 运营指标:记录运营监控数据、报警和报告
  • 流式处理:比如SparkStream、Storm

基本架构

消息和批次

  • Kafka的数据单元称为消息,可以把消息看成是数据库里的一个数据行或者一条记录。消息由字节组组成。
  • 消息由键,键也是一个字节数组,当消息以一种可控的方式写入不同的分区时,会用到键。
  • 为了提高效率,消息被分批写入Kafka,批次就是一组消息,这些消息属于同一个主题和分区。
  • 把消息分批次可以减少网络开销,批次越大,单位时间内处理的消息就越多,单个消息传输的时间久越长。

消息模式

  • 消息模式(schema)有很多可用的选项。如 JSON、XML,他们缺乏强类型的处理能力。
  • Kafka的开发者喜欢使用ApacheAvro,提供了一种紧凑序列格式化,模式和消息体分开。当模式发生变化时,不需要重新生成代码,它还支持强类型和模式进化。
  • 数据格式一致性对Kafka很重要,因为它消除了消息读写操作之间的耦合性。

主题和分区

Kafka的消息通过主题进行分类,主题可比数据库表或者文件系统里的文件夹。主题可以被分为若干区域,一个主题通过分区分布于Kafka集群中,提供了横向扩展的能力。

在这里插入图片描述

生产和消费者

生产者创建消息,消费者消费消息。
生产者在默认的情况下会把消息均衡的发布到主题的所有分区上:

  • 直接指定消息的分区
  • 根据消息的key散列取模得出分区
  • 轮询指定分区

消费者通过偏移量来区分已经读过的消息,从而消费消息。
消费者是消费组的一部分,消费组保证每个分区只有一个消费者使用,避免重复消费。

在这里插入图片描述

Broker 和 集群

一个独立的Kafka服务器成为Broker,Broker接受来自生产者的消息,为消息设置偏移量,并提交到磁盘进行保存。
Broker为消费者提供服务,对读取分区的请求做出响应,返回已提交到磁盘上的消息。
单个Broker可以轻松处理数千个分区以及每秒百万的消息量。

在这里插入图片描述

每一个集群都有一个Broker是集群控制器(自动从集群的活跃成员中选举出来)
控制器负责管理工作:

  • 将分区分配给Broker
  • 监控Broker

集群中一个分区属于一个Broker,该Broker称为分区首领。

  • 一个分区可以分配给多个Broker,此时会发生分区复制。
  • 分区的复制提高了消息冗余、高可用。
  • 副本分区不负责处理消息的读写。
标签: 大数据 kafka 架构

本文转载自: https://blog.csdn.net/w776341482/article/details/140729964
版权归原作者 武子康 所有, 如有侵权,请联系我们删除。

“大数据-52 Kafka 基础概念和基本架构 核心API介绍 应用场景等”的评论:

还没有评论