kafka
===============================

集群部署
------------------------------

准备3个节点：

hosts如下：

.. code-block:: text

    10.196.126.26 kafka-1
    10.196.126.27 kafka-2
    10.196.126.28 kafka-3
    10.196.126.23 zookeeper-1
    10.196.126.24 zookeeper-2
    10.196.126.25 zookeeper-3

修改每个节点，kafka安装目录下的conf下的server.properties文件

主要修改以下参数：

.. code-block:: properties

    # 修改成对应的数字，不能重复，0,1,2,...
    broker.id=x
    listeners=
    advertised.listeners=
    # kafka日志目录
    log.dirs=/var/lib/kafka/logs

启动：

.. code-block:: bash

    bin/kafka-server-start.sh conf/server.properties

创建topics

.. code-block:: bash

    bin/kafka-topics.sh --bootstrap-server kafka-1:9092,kafka-2:9092,kafka-3:9092 --create --topic quickstart-events

列出topics

.. code-block:: bash

    bin/kafka-topics.sh --list --bootstrap-server kafka-1:9092,kafka-2:9092,kafka-3:9092

描述topics

.. code-block:: bash

    bin/kafka-topics.sh --bootstrap-server kafka-1:9092,kafka-2:9092,kafka-3:9092 --describe --topic quickstart-events

生产者

.. code-block:: bash

    bin/kafka-console-producer.sh --bootstrap-server kafka-1:9092,kafka-2:9092,kafka-3:9092 --topic quickstart-events

消费者

.. code-block:: bash

    # 因为没有指定group，因此开启多个实例，都会重新消费。
    bin/kafka-console-consumer.sh --bootstrap-server kafka-1:9092,kafka-2:9092,kafka-3:9092 --topic quickstart-events --from-beginning


指定消费组

.. code-block:: bash

    bin/kafka-console-consumer.sh --bootstrap-server kafka-1:9092,kafka-2:9092,kafka-3:9092 --topic quickstart-events --from-beginning --group hello