2023_Spark_实验二十三：Kafka的安装与基本操作

Kafka的安装与基本操作

一、前提工作

二、Kafka安装

三、Kafka基本操作

一、前提工作

必须安装了zookeeper

单机可参考：zookeeper单机安装与配置

集群可参考：zookeeper的集群安装

二、Kafka安装

上传kafka_2.11-2.4.1.tgz到/tools目录下

解压安装到/opt/soft_installed/目录下

tar -zvxf kafka_2.11-2.4.1.tgz -C /opt/soft_installed

配置环境变量并让环境变量生效

执行：vi ~/.bash_profile 命令，添加如下信息并保存退出：

# 配置kafka集群
export KAFKA_HOME=/opt/soft_installed/kafka_2.11-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin

环境变量执行生效

source ~/.bashrc

创建用于存放kafka的log目录

mkdir -p /opt/soft_installed/kafka_2.11-2.4.1/kafka-logs

配置server.properties(文件在kafka安装路径下的config目录中)

配置：vi server.properties

listeners=PLAINTEXT://node1:9092
log.dirs=/opt/soft_installed/kafka_2.11-2.4.1/kafka-logs
zookeeper.connect=node1:2181

启动kafka(先需要启动zookeeper)

# 启动zookeeper
/opt/soft_installed/zookeeper-3.4.5/bin/zkServer.sh start

# 启动kafka
kafka-server-start.sh /opt/soft_installed/kafka_2.11-2.4.1/config/server.properties 

验证Kafka是否成功启动

查看9092端口是否已经启动：

netstat -anop|grep 9092

或者执行：jps，查看是否有kafka进程存在

kafaka一键启动脚本

[lh@master scripts]$ cat onekeykafka.sh
#! /bin/bash

# kafak 一键启停脚本

case $1 in
"start")
        echo "==========  now start kafak  =========="
        nohup /opt/soft_installed/kafka_2.11-2.4.1/bin/kafka-server-start.sh /opt/soft_installed/kafka_2.11-2.4.1/config/server.properties >/opt/soft_installed/kafka_2.11-2.4.1/logs/kafka_2023.log 2>&1 &;;
hup
"stop")
        echo "==========  now stop stop kafka  =========="
        nohup /opt/soft_installed/kafka_2.11-2.4.1/bin/kafka-server-stop.sh /opt/soft_installed/kafka_2.11-2.4.1/config/server.properties >/opt/soft_installed/kafka_2.11-2.4.1/logs/kafka_2023.log 2>&1 &;;
*)
        echo Invalid Args!
        echo 'Usage: '$(basename $0)' start|stop';;
esac

三、Kafka基本操作

创建主题topic，如test

kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 1 --topic test

启动控制台生产者（需要另外打开一个终端)

kafka-console-producer.sh --broker-list node1:9092 --topic test

启动控制台消费者（需要另外打开一个终端)

kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning

测试

在生产者所在的终端中输入一些文字，如：我爱北京天安门，天安上太阳升。 i love beijing i love guizhou i love spark，按回车键

在消费者终端可以看到

查看进程，jps可以看到

查看下此时zookeeper中生成了哪些内容，执行：zkCli.sh

zkCli.sh