0


Flink消费kafka消息实战,字节跳动+阿里+华为+小米等10家大厂面试真题

注意:

  1. 本文的重点是Flink,所以在192.168.1.101这台机器上通过Docker快速搭建了kafka server和消息生产者,只要向这台机器的消息生产者容器发起http请求,就能生产一条消息到kafka;
  2. 192.168.1.104这台机器安装了Apache Bench,可以通过简单的命令,向192.168.1.101发起大量http请求,这样就能产生大量kafka消息;

整体架构如下图:

在这里插入图片描述

[](

)操作步骤

  1. 在机器192.168.1.101上部署三个容器(消息生产者、zookeeper、kafka);
  2. 在机器192.168.1.104上安装Apache Bench;
  3. 在机器192.168.1.102上配置kafak相关的host;
  4. 开发Flink应用,部署到机器192.168.1.102;
  5. 在机器192.168.1.104上发起压力测试,请求地址是消息生产者的http接口地址,产生大量消息;
  6. 观察Flink应用的处理情况;

[](

)版本信息

  1. 操作系统:Centos7
  2. docker:17.03.2-ce
  3. docker-compose:1.23.2
  4. kafka:0.11.0.3
  5. zookeeper:3.4.9
  6. JDK:1.8.0_191
  7. spring boot:1.5.9.RELEASE
  8. spring-kafka:1.3.8.RELEASE
  9. Flink:1.7

[](

)在机器192.168.1.101上部署三个容器(消息生产者、zookeeper、kafka)

构建kafka相关的环境不是本文

标签: flink kafka 面试

本文转载自: https://blog.csdn.net/m0_61549984/article/details/136695528
版权归原作者 洪湖顶级程序员 所有, 如有侵权,请联系我们删除。

“Flink消费kafka消息实战,字节跳动+阿里+华为+小米等10家大厂面试真题”的评论:

还没有评论