【kafka】 生产 - 消费 场景模拟

kafka 生产 - 消费 场景模拟

系统：linux centos
语言：golang

安装

1、版本选择

2、安装步骤&实践案例
以下命令请根据实际路径

# 步骤 1：获取 KAFKAtar-xzf kafka_2.13-3.4.0.tgz
cd kafka_2.13-3.4.0

# 步骤2：启动KAFKA环境
bin/zookeeper-server-start.sh config/zookeeper.properties # 开启zookeeper服务
bin/kafka-server-start.sh config/server.properties # 打开另一个终端会话，开启kafka服务# 或者 后台运行nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper.log 2>&1&nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1&# 打开另一个终端会话# 在编写第一个事件之前，必须创建一个主题 quickstart-events
bin/kafka-topics.sh --create--topic quickstart-events --bootstrap-server localhost:9092

# 步骤 3：创建主题来存储您的事件# 显示 主题的 分区数等详细信息：[root@VM-12-13-centos kafka_2.13-3.4.0]# bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092[root@VM-12-13-centos kafka_2.13-3.4.0]# Topic: quickstart-events        TopicId: nZ5INgfFTqm5zgSSwKOpTA PartitionCount: 1       ReplicationFactor: 1    Configs: [root@VM-12-13-centos kafka_2.13-3.4.0]#        Topic: quickstart-events        Partition: 0    Leader: 0       Replicas: 0     Isr: 0# 步骤 4：将一些事件写入主题[root@VM-12-13-centos kafka_2.13-3.4.0]# bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092> This is my first event # 输入> This is my second event # 输入# 第 5 步：阅读事件 [消费]
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

3、代码实践

• 生产者package mainimport("bufio""fmt""os""github.com/IBM/sarama")funcmain(){ config := sarama.NewConfig() config.Producer.RequiredAcks = sarama.WaitForAll config.Producer.Return.Successes =true msg :=&sarama.ProducerMessage{}// 构建消息 msg.Topic ="new_topic" msg.Partition =int32(0)// 连接kafka producer, err := sarama.NewSyncProducer([]string{"127.0.0.1:9092"}, config)if err !=nil{ fmt.Println("producer close, err: "+ err.Error())return}defer producer.Close()for{ fmt.Print("请输入: ") reader := bufio.NewReader(os.Stdin) text,_:= reader.ReadString('\n') msg.Value = sarama.StringEncoder(string(text)) fmt.Printf("您输入的是: %v, %v",string(text), text) fmt.Println()// 发送消息 partition, offset, err := producer.SendMessage(msg)if err !=nil{ fmt.Println("send msg failed, err: "+ err.Error())return} fmt.Printf("partiotion: %v, offset: %v", partition, offset) fmt.Println()ifstring(text)=="exit\n"{return}}}
• 消费者package mainimport("fmt""time""github.com/IBM/sarama")funcmain(){ consumer, err := sarama.NewConsumer([]string{"127.0.0.1:9092"},nil)if err !=nil{ fmt.Println("fail to start consumer, err: "+ err.Error())return} topic :="new_topic" partitioner :=int32(0)// 指定分区 partitionConsumer, err := consumer.ConsumePartition(topic, partitioner, sarama.OffsetNewest)if err !=nil{ fmt.Println("fail to start consumer for partioner, err: "+ err.Error())return}defer partitionConsumer.AsyncClose()for{for msg :=range partitionConsumer.Messages(){ fmt.Printf("Partition: %v,Offset: %v,Key: %v,Value: %v", msg.Partition, msg.Offset, msg.Key,string(msg.Value)) fmt.Println()ifstring(msg.Value)=="exit\n"{return}} time.Sleep(2* time.Microsecond)}}

4、演示

• 生产者[root@VM-12-13-centos kafkaP]# go run main.go 请输入: 水电费可接受的九分裤您输入的是: 水电费可接受的九分裤, 水电费可接受的九分裤partiotion: 0, offset: 8请输入: 士大夫撒解放路卡就是了您输入的是: 士大夫撒解放路卡就是了, 士大夫撒解放路卡就是了partiotion: 0, offset: 9请输入: exit您输入的是: exit, exit# 输入 exit 消息就退出
• 消费者[root@VM-12-13-centos kafkaC]# go run main.go Partition: 0,Offset: 7,Key: [],Value: 第三方黄金三Partition: 0,Offset: 8,Key: [],Value: 水电费可接受的九分裤Partition: 0,Offset: 9,Key: [],Value: 士大夫撒解放路卡就是了Partition: 0,Offset: 10,Key: [],Value: exit# 接收到 exit 消息就退出