14.19. kafka

14.19.1. 集群部署

准备3个节点：

hosts如下：

10.196.126.26 kafka-1
10.196.126.27 kafka-2
10.196.126.28 kafka-3
10.196.126.23 zookeeper-1
10.196.126.24 zookeeper-2
10.196.126.25 zookeeper-3

修改每个节点，kafka安装目录下的conf下的server.properties文件

主要修改以下参数：

# 修改成对应的数字，不能重复，0,1,2,...
broker.id=x
listeners=
advertised.listeners=
# kafka日志目录
log.dirs=/var/lib/kafka/logs

启动：

bin/kafka-server-start.sh conf/server.properties

创建topics

bin/kafka-topics.sh --bootstrap-server kafka-1:9092,kafka-2:9092,kafka-3:9092 --create --topic quickstart-events

列出topics

bin/kafka-topics.sh --list --bootstrap-server kafka-1:9092,kafka-2:9092,kafka-3:9092

描述topics

bin/kafka-topics.sh --bootstrap-server kafka-1:9092,kafka-2:9092,kafka-3:9092 --describe --topic quickstart-events

生产者

bin/kafka-console-producer.sh --bootstrap-server kafka-1:9092,kafka-2:9092,kafka-3:9092 --topic quickstart-events

消费者

# 因为没有指定group，因此开启多个实例，都会重新消费。
bin/kafka-console-consumer.sh --bootstrap-server kafka-1:9092,kafka-2:9092,kafka-3:9092 --topic quickstart-events --from-beginning

指定消费组

bin/kafka-console-consumer.sh --bootstrap-server kafka-1:9092,kafka-2:9092,kafka-3:9092 --topic quickstart-events --from-beginning --group hello