0
0

ELK-日志服务【kafka-配置使用】

kafka-01

10.0.0.21

kafka-02

10.0.0.22

kafka-03

10.0.0.23

【1】安装zk集群、配置

  1. [root@es-01 ~]# yum -y install java maven
  2. [root@es-01 ~]# tar xf apache-zookeeper-3.5.9-bin.tar.gz -C /opt/
  4. [root@es-01 ~]# cd /opt/apache-zookeeper-3.5.9-bin/conf/
  5. [root@es-01 conf]# cp zoo_sample.cfg zoo.cfg
  6. [root@es-01 conf]# vim zoo.cfg
  7. # 服务器之间或客户端与服务器之间维持心跳的时间间隔。tickTime以毫秒为单位
  8. tickTime=2000
  10. # 集群中的follower服务器（F）与leader服务器（L）之间的厨师连接心跳数 10* tickTime
  11. initLimit=10
  13. # 集群中的follower服务器于leader服务器之间请求和应答之间能容忍的最多心跳 5
  14. syncLimit=5
  16. # 数据保存目录
  17. dataDir=../data
  19. # 日志保存目录
  20. dataLogDir=../logs
  22. # 客户端连接端口
  23. clientPort=2181
  25. # 客户端最大连接数，默认是 60 个
  26. maxClientCnxns=60
  27. # 三个节点配置，格式为：server、服务编号=服务地址、LF通信端口、选举端口
  28. server.1=10.0.0.21:2888:3888
  29. server.2=10.0.0.22:2888:3888
  30. server.3=10.0.0.23:2888:3888
  32. [root@es-01 conf]# mkdir ../data
  34. # 将配置好的zook 拷贝到其他两台节点中
  35. [root@es-01 conf]# scp -rp /opt/apache-zookeeper-3.5.9-bin/ root@10.0.0.22:/opt
  36. [root@es-01 conf]# scp -rp /opt/apache-zookeeper-3.5.9-bin/ root@10.0.0.23:/opt
  38. # 在节点上写入节点标记
  39. [root@es-01 conf]# echo "1" > /opt/apache-zookeeper-3.5.9-bin/data/myid
  40. [root@es-02 ~]# echo "2" > /opt/apache-zookeeper-3.5.9-bin/data/myid
  41. [root@es-03 ~]# echo "3" > /opt/apache-zookeeper-3.5.9-bin/data/myid
  43. # 启动zook集群
  44. [root@es-01 conf]# cd /opt/apache-zookeeper-3.5.9-bin/bin/
  45. [root@es-01 bin]# ./zkServer.sh start
  46. /usr/bin/java
  47. ZooKeeper JMX enabled by default
  48. Using config: /opt/apache-zookeeper-3.5.9-bin/bin/../conf/zoo.cfg
  49. Starting zookeeper ... STARTED
  51. # 检查集群状态，每个节点都要执行
  52. [root@es-01 bin]# ./zkServer.sh status
  53. /usr/bin/java
  54. ZooKeeper JMX enabled by default
  55. Using config: /opt/apache-zookeeper-3.5.9-bin/bin/../conf/zoo.cfg
  56. Client port found: 2181. Client address: localhost. Client SSL: false.
  57. Mode: follower
  59. [root@es-02 bin]# ./zkServer.sh status
  60. /usr/bin/java
  61. ZooKeeper JMX enabled by default
  62. Using config: /opt/apache-zookeeper-3.5.9-bin/bin/../conf/zoo.cfg
  63. Client port found: 2181. Client address: localhost. Client SSL: false.
  64. Mode: follower
  66. [root@es-03 bin]# ./zkServer.sh status
  67. /usr/bin/java
  68. ZooKeeper JMX enabled by default
  69. Using config: /opt/apache-zookeeper-3.5.9-bin/bin/../conf/zoo.cfg
  70. Client port found: 2181. Client address: localhost. Client SSL: false.
  71. Mode: leader
  73. # 检查端口，leader（3888,2888）follower（3888）
  74. [root@es-03 bin]# netstat -lntp
  75. Active Internet connections (only servers)
  76. Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
  77. tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1963/sshd           
  78. tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      2027/master         
  79. tcp6       0      0 10.0.0.23:3888          :::*                    LISTEN      2518/java           
  80. tcp6       0      0 :::8080                 :::*                    LISTEN      2518/java           
  81. tcp6       0      0 10.0.0.23:9200          :::*                    LISTEN      2281/java           
  82. tcp6       0      0 10.0.0.23:9300          :::*                    LISTEN      2281/java           
  83. tcp6       0      0 :::22                   :::*                    LISTEN      1963/sshd           
  84. tcp6       0      0 ::1:25                  :::*                    LISTEN      2027/master         
  85. tcp6       0      0 :::37308                :::*                    LISTEN      2518/java           
  86. tcp6       0      0 :::2181                 :::*                    LISTEN      2518/java           
  87. tcp6       0      0 10.0.0.23:2888          :::*                    LISTEN      2518/java

【2】安装kafka集群

  1. [root@es-01 ~]# tar xf kafka_2.12-2.8.1.tgz -C /opt/
  3. [root@es-01 ~]# cd /opt/kafka_2.12-2.8.1/config/
  5. [root@es-01 config]# vim server.properties
  6. # broker的id，值为整数，且唯一，在一个集群中不能重复
  7. broker.id=1
  9. # kafka监听的端口，默认是9092
  10. listeners=PLAINTEXT://10.0.0.21:9092
  12. # 处理网络请求的线程数量，默认是3个
  13. num.network.threads=3
  15. # 执行磁盘IO操作的线程数量，默认是8个
  16. num.io.threads=8
  18. # socket服务发送数据的缓冲区大小，默认100KB
  19. socket.send.buffer.bytes=102400
  21. # socket服务接收数据的缓冲区大小，默认100KB
  22. socket.receive.buffer.bytes=102400
  24. # socket服务所能接受的一个请求的最大大小，默认是100M
  25. socket.request.max.bytes=104857600
  27. # kafka存储消息数据的目录
  28. log.dirs=../data
  30. # 每个topic默认的partition
  31. num.partitions=1
  33. # 设置副本数量为3，当leader的replication故障，会进行故障自动转移
  34. default.replication.factor=3
  36. # 在启动时恢复数据和关闭时刷新数据时每个数据目录的线程数量
  37. num.recovery.threads.per.data.dir=1
  39. # 消息刷新到磁盘中的消息条数阈值
  40. log.flush.interval.messages=10000
  42. # 消息刷新到磁盘中的最大时间间隔1s
  43. log.flush.interval.ms=1000
  45. # 日志保留小时数，超时会自动删除，默认为7天
  46. log.retention.hours=168
  48. # 日志保留大小，超出大小自动删除，默认为1G
  49. #log.retention.bytes=1073741824
  51. # 日志分片策略，单个日志文件的大小最大为1G，超出后则创建一个新的日志文件
  52. log.segment.bytes=1073741824
  54. # 每个多长时间检测数据是否达到删除条件，300s
  55. log.retention.check.interval.ms=300000
  57. # zookeeper简介信息，如果是zookeeper集群，则以逗号隔开
  58. zookeeper.connect=10.0.0.21:2181,10.0.0.22:2181,10.0.0.23:2181
  60. # 简介zookeeper的超时时间，6s
  61. zookeeper.connection.timeout.ms=60000
  63. # 创建数据目录
  64. [root@es-01 config]# mkdir ../data
  66. # 将kafka拷贝至其他节点中
  67. [root@es-01 config]# scp -rp /opt/kafka_2.12-2.8.1/ root@10.0.0.22:/opt/
  68. [root@es-01 config]# scp -rp /opt/kafka_2.12-2.8.1/ root@10.0.0.23:/opt/
  70. # 修改22、23配置文件中的broker.id 、listeners
  71. [root@es-02 ~]# vim /opt/kafka_2.12-2.8.1/config/server.properties
  72. # broker的id，值为整数，且唯一，在一个集群中不能重复
  73. broker.id=2
  75. # kafka监听的端口，默认是9092
  76. listeners=PLAINTEXT://10.0.0.22:9092
  77. ......
  79. [root@es-03 ~]# vim /opt/kafka_2.12-2.8.1/config/server.properties
  80. # broker的id，值为整数，且唯一，在一个集群中不能重复
  81. broker.id=3
  83. # kafka监听的端口，默认是9092
  84. listeners=PLAINTEXT://10.0.0.23:9092
  85. ......
  87. # 启动kafka集群
  88. [root@es-01 ~]# export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
  89. [root@es-02 ~]# export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
  90. [root@es-03 ~]# export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
  91. [root@es-01 ~]# /opt/kafka_2.12-2.8.1/bin/kafka-server-start.sh -daemon /opt/kafka_2.12-2.8.1/config/server.properties
  92. [root@es-02 ~]# /opt/kafka_2.12-2.8.1/bin/kafka-server-start.sh -daemon /opt/kafka_2.12-2.8.1/config/server.properties
  93. [root@es-03 ~]# /opt/kafka_2.12-2.8.1/bin/kafka-server-start.sh -daemon /opt/kafka_2.12-2.8.1/config/server.properties
  95. [root@es-01 ~]# yum install java-1.8.0-openjdk.x86_64
  96. [root@es-01 ~]# yum install java-1.8.0-openjdk-devel.x86_64
  97. [root@es-01 ~]# jps 
  98. 4456 Jps
  99. 4380 Kafka
  100. 3358 QuorumPeerMain
  101. 639 cerebro.cerebro-0.8.5-launcher.jar
  103. # 验证集群
  104. # 使用kafka创建一个topic
  105. [root@es-01 bin]# /opt/kafka_2.12-2.8.1/bin/kafka-topics.sh --create --zookeeper 10.0.0.21:2181,10.0.0.22:2181,10.0.0.23:2181 --partitions 1 --replication-factor 3 --topic xiaocheng
  107. # 生产者
  108. [root@es-02 ~]# /opt/kafka_2.12-2.8.1/bin/kafka-console-producer.sh --broker-list 10.0.0.21:9092,10.0.0.22:9092,10.0.0.0.23:9092 --topic xiaocheng
  109. OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
  110. [2023-07-13 07:04:02,171] WARN Couldn't resolve server 10.0.0.0.23:9092 from bootstrap.servers as DNS resolution failed for 10.0.0.0.23 (org.apache.kafka.clients.ClientUtils)
  111. >hello
  112. >你好？
  114. # 消费者
  115. [root@es-03 ~]# /opt/kafka_2.12-2.8.1/bin/kafka-console-consumer.sh --bootstrap-server 10.0.0.21:9092,10.0.0.22:9092,10.0.0.23:9092 --topic xiaocheng --from-beginning
  116. OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
  117. hello
  118. 你好？

标签： elk kafka 分布式
本文转载自: https://blog.csdn.net/L596462013/article/details/131720897
版权归原作者 梦有一把琐 所有， 如有侵权，请联系我们删除。
登录后发布评论

“ELK-日志服务【kafka-配置使用】”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？

文章导航
没有找到文章内容分段。。。