0


腾讯资深技术官23天手撸笔记,全新演绎“Kafka部署实战”,已开源下载

①客户端开发(必要的参数配置+消息的发送+序列化+分区器+生产者拦截器)

image

②原理分析(整体架构+元数据的更新)

image

③重要的生产者参数

image

三、消费者

================================================================

①消费者与消费组

image

②客户端开发(必要的参数配置+订阅主题与分区+反序列化+消息消费+位移提交+控制或关闭消费+指定位移消费+再均衡+消费者拦截器+多线程实现+重要的消费者参数)

image

四、主题与分区

==================================================================

①主题的管理(创建主题+分区副本的分配+查看主题+修改主题+配置管理+主题端参数+删除主题)

image

②初始Kafka AdminClient(基本使用+主题合法性验证)

image

③分区的管理(优先副本的选举+分区重分配+复制限流+修改副本因子)

image

④如何选择合适的分区数(性能测试工具+分区数越多吞吐量就越高吗+分区数的上限+参考因素)

image

五、日志存储

=================================================================

①文件目录布局

image

②日志格式的演变(v0版本+v1版本+消息压缩+变长字段+v2版本)

image

③日志索引(偏移量索引+时间戳索引)

image

④日志清理(日志删除+日志压缩)

image

⑤磁盘存储(页缓存+磁盘I/O流程+零拷贝)

image

六、深入服务端

==================================================================

①协议设计

image

②时间轮

image

③延时操作

image

④控制器(控制器的选举及异常恢复+优雅关闭+分区leader的选举+参数解密)

image

⑤参数解密(broker.id+bootstrap.servers+服务端参数列表)

image

七、深入客户端

==================================================================

①分区分配策略(RangeAssignor分配策略+RoundRobinAssignor分配策略+StickyAssignor分配策略+自定义分区分配策略)

image

②消费者协调器和组协调器(旧版消费者客户端的问题+再均衡的原理)

image

③_consumer_offsets剖析

image

④事务(消息传输保障+幂等+事务)

image

八、可靠性探究

==================================================================

①副本剖析(失效副本+ISR的伸缩+LEO与HW+Leader Epoch的介入+为什么不支持读写分离)

image

②日志同步机制

image

③可靠性分析

image

九、Kafka应用

====================================================================

①命令行工具(消费组管理+消费位移管理+手动删除消息)

image

②Kafka Connect(独立模式+REST API+分布式模式)

image

③Kafka Mirror Maker

image

④Kafka Streams

image

十、Kafka监控

====================================================================

①监控数据的来源(OneMinuteRate+获取监控指标)

image

②消费滞后

image

③同步失效分区

image

④监控指标说明

image

⑤监控模块

image

十一、高级应用

==================================================================

①过期时间(TTL)

image

最后

为什么我不完全主张自学?
平台上的大牛基本上都有很多年的工作经验了,你有没有想过之前行业的门槛是什么样的,现在行业门槛是什么样的?以前企业对于程序员能力要求没有这么高,甚至十多年前你只要会写个“Hello World”,你都可以入门这个行业,所以以前要入门是完全可以入门的。
②现在也有一些优秀的年轻大牛,他们或许也是自学成才,但是他们一定是具备优秀的学习能力,优秀的自我管理能力(时间管理,静心坚持等方面)以及善于发现问题并总结问题。
如果说你认为你的目标十分明确,能做到第②点所说的几个点,以目前的市场来看,你才真正的适合去自学。

除此之外,对于绝大部分人来说,报班一定是最好的一种快速成长的方式。但是有个问题,现在市场上的培训机构质量参差不齐,如果你没有找准一个好的培训班,完全是浪费精力,时间以及金钱,这个需要自己去甄别选择。

我个人建议线上比线下的性价比更高,线下培训价格基本上没2W是下不来的,线上教育现在比较成熟了,此次疫情期间,学生基本上都感受过线上的学习模式。相比线下而言,线上的优势以我的了解主要是以下几个方面:
①价格:线上的价格基本上是线下的一半;
②老师:相对而言线上教育的师资力量比线下更强大也更加丰富,资源更好协调;
③时间:学习时间相对而言更自由,不用裸辞学习,适合边学边工作,降低生活压力;
④课程:从课程内容来说,确实要比线下讲的更加深入。

应该学哪些技术才能达到企业的要求?(下图总结)

需要自己去甄别选择。

我个人建议线上比线下的性价比更高,线下培训价格基本上没2W是下不来的,线上教育现在比较成熟了,此次疫情期间,学生基本上都感受过线上的学习模式。相比线下而言,线上的优势以我的了解主要是以下几个方面:
①价格:线上的价格基本上是线下的一半;
②老师:相对而言线上教育的师资力量比线下更强大也更加丰富,资源更好协调;
③时间:学习时间相对而言更自由,不用裸辞学习,适合边学边工作,降低生活压力;
④课程:从课程内容来说,确实要比线下讲的更加深入。

应该学哪些技术才能达到企业的要求?(下图总结)

[外链图片转存中…(img-EtPRnAC8-1720127491070)]

[外链图片转存中…(img-uVrDgKUx-1720127491071)]

标签: 笔记 kafka 开源

本文转载自: https://blog.csdn.net/2401_85407119/article/details/140196249
版权归原作者 2401_85407119 所有, 如有侵权,请联系我们删除。

“腾讯资深技术官23天手撸笔记,全新演绎“Kafka部署实战”,已开源下载”的评论:

还没有评论