0


kafka安装部署

一、安装kafka

下载kafka两种方式

(1)、手动下载 下载地址:Apache Kafka

(2)、也可以用命令下载(直接下载到服务器哦!):

将安装包下载到/opt/monitor/kafka文件夹下面
下载命令:
    wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz
手动下载移动到/opt/monitor/kafka目录下也可以 

二、解压kafka

tar -xzvf kafka_2.12-2.0.0.tgz(文件名可以更换哦!)

三、修改server.properties文件

在目录/opt/monitor/kafka/kafka_2.12-2.7.0/config下

file

在config目录下输入命令:vim server.properties

1、修改内容为:

server.properties修改 内容如下:可直接复制粘贴。

broker.id=0 
port=9092 #端口号 
host.name=localhost #单机可直接用localhost
log.dirs=/opt/monitor/kafka/kafka_dat #日志存放路径可修改可不修改
zookeeper.connect=localhost:2181 #zookeeper地址和端口,单机配置部署,localhost:2181 

2、创建日志文件夹

mkdir + 目录名称

四、修改zookeeper.properties文件

1、 进入/opt/monitor/kafka/kafka_2.12-2.7.0/config目录下输入命令:

vim  zookeeper.properties

2、修改内容为:

dataDir=/opt/monitor/kafka/kafka_data/zookeeper  #zookeeper数据目录  (可以修改可以不修改)
clientPort=2181
maxClientCnxns=100
tickTimes=2000
initLimit=10
syncLimit=5
admin.enableServer=false

由于我修改了默认的数据目录地址和日志目录需要在kafka下创建文件

在/opt/monitor/kafka/创建
        
        mkdir kafka_data/zookeeper

五、启动

1、启动zookeeper

(一般我使用这种方式)

启动:在/opt/monitor/kafka/kafka_2.12-2.7.0路径下先启动zookeeper,默认自带的

bin/zookeeper-server-start.sh config/zookeeper.properties
​
bin/zookeeper-server-start.sh -daemon  config/zookeeper.properties          #建议使用这种方式,不需要启动多个窗口

2、启动Kafka

然后启动kafka服务在/opt/monitor/kafka/kafka_2.12-2.7.0路径下

bin/kafka-server-start.sh config/server.properties
​
bin/kafka-server-start.sh -daemon  config/server.properties                 #建议使用这种方式,不需要启动多个窗口

#!/bin/sh #启动zookeeper

/opt/monitor/kafka/kafka_2.12-2.7.0/bin/zookeeper-server-start.sh /opt/monitor/kafka/kafka_2.12-2.7.0/config/zookeeper.properties &

sleep 3 #等3秒后执行

#启动kafka

/opt/monitor/kafka/kafka_2.12-2.7.0/bin/kafka-server-start.sh /opt/monitor/kafka/kafka_2.12-2.7.0/config/server.properties &

六、Kafka topic

1、创建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic demo
​
​
bin/kafka-topics.sh --create --zookeeper localhost:2181  --topic demo

其中demo为创建的topic名称。

如上图,创建了一个名为 demo 的主题,其中包含一个分区和一个副本因子。 创建成功之后会输出:

Created topic "demo".

如上图,创建主题后,系统会在config / server.properties文件中的"/ tmp / kafka-logs /"中指定的创建主题的日志。

2 、查询topic列表

bin/kafka-topics.sh --list --zookeeper localhost:2181
bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic demo

3 、删除topic

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic demo

七、Kafka 生产/消费

1 、启动生产者

进入/opt/monitor/kafka/kafka_2.12-2.7.0目录下执行命令

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic demo
bin/kafka-console-producer.sh --broker-list 192.168.113.xxx:9092 --topic prometheusMonitor_event
​
bin/kafka-console-producer.sh --broker-list 192.168.xxx.xxx:9092 --topic zabbixVm
​

从上面的语法,生产者命令行客户端需要两个主要参数 -

代理列表 - 我们要发送邮件的代理列表。 在这种情况下,我们只有一个代理。 Config / server.properties文件包含代理端口ID,因为我们知道我们的代理正在侦听端口9092,因此您可以直接指定它。主题名称:demo。

2 、启动消费者

为了方便测试,另启一个sheel窗口 这样效果更明显。需要注意的是旧版本和新版本的命令是不一样的

进入/opt/monitor/kafka/kafka_2.12-2.7.0目录下执行命令

2.1、旧版本:

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic demo --from-beginning

报错提示:

zookeeper is not a recognized option

2.2、新版本

发现在启动的时候说使用 --zookeeper是一个过时的方法,最新的版本中命令如下:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic demo --from-beginning
bin/kafka-console-consumer.sh --bootstrap-server 192.168.xxx.xxx:9092 --topic 名称 --from-beginning

可以开启两个终端,一个发送消息,一个接受消息。效果如下:

3、 查看kafka生产最大位置偏移量

进入/opt/monitor/kafka/kafka_2.12-2.7.0目录下执行命令

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic demo --time -1

4、消费消息查看

进入/opt/monitor/kafka/kafka_2.12-2.7.0/bin目录下:

(1)、topic: redis_event

./kafka-console-consumer.sh --bootstrap-server 192.168.xxx.xxx:9092 --topic redis_event --from-beginning 

(2)、topic: zabbixVm 
./kafka-console-consumer.sh --bootstrap-server 192.168.xxx.xxx:9092 --topic zabbixVm #查看最新的数据
​

八,监控

1个kafka集群只需要1个exporter,在集群上的任意1台服务器部署。


本文转载自: https://blog.csdn.net/m0_46192647/article/details/123424090
版权归原作者 Liu-1998 所有, 如有侵权,请联系我们删除。

“kafka安装部署”的评论:

还没有评论