作者:禅与计算机程序设计艺术
1.简介
Apache Kafka 是由LinkedIn于2011年开源出来的一个分布式流处理平台。它最初被称为Distributed Messaging System(即分布式消息系统),是一个发布/订阅消息队列,支持按照Key-Value形式存储数据,具备水平扩展、容错、可靠性等特性。Kafka 作为一种分布式系统,在其架构设计上具有独特的特征,包括高性能、高吞吐量、低延迟及易用性等优点,能够实现企业级的数据实时处理、事件采集、日志聚合、数据同步等需求。
本文将从分布式消息系统的诞生到今天(2020年)四个月,基于Kafka的相关应用案例,以及对Kafka为什么如此火爆的分析,为读者提供一个全面的认识。通过阅读本文,读者可以更好的理解Kafka的价值及其特性。
2.背景介绍
2.1 分布式消息系统的产生
在互联网快速发展的当今,大规模的集群式系统架构已经成为主导地位。传统的单体系统架构已无法满足业务的快速发展,为了适应这种业务模式演进,需要采用分布式消息系统,以提升系统整体的处理能力和可用性。
当分布式消息系统诞生之初,主要用于服务间通信,后来逐渐演变为通用的消息中间件,如ActiveMQ、RabbitMQ等。随着互联网的飞速发展,许多公司也意识到这个分布式消息系统的潜力,将其应用于其业务系统中,比如电商网站的订单消息发送、评论消息发送,以及交易消息通知等,实现了业务系统的异步化。
2.2 Apache Kafka 介绍
Apache Kafka 是LinkedIn开发的开
版权归原作者 禅与计算机程序设计艺术 所有, 如有侵权,请联系我们删除。