Windows10 Kafka Docker 集群搭建

簡介

????使用 Windows Docker Desktop 搭建 Kafka 集群

運行 Zookeeper

????這里使用但 zk，使用docker啟動即可

# 第一次啟動
docker run -dit --name zk -p 2181:2181 zookeeper# 重啟
docker restart zk# 查看日志
docker logs -f zk

運行 Kafka

????啟動的命令如下，注意將下面的 192.168.101.104 換成自己的宿主機IP，運行后查看日志正常即可

# 第一次啟動
docker run -dit --name kafka0 -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.101.104:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.101.104:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafkadocker run -dit --name kafka1 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.101.104:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.101.104:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafkadocker run -dit --name kafka2 -p 9094:9094 -e KAFKA_BROKER_ID=2 -e KAFKA_ZOOKEEPER_CONNECT=192.168.101.104:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.101.104:9094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9094 -t wurstmeister/kafka# 重啟
docker restart kafka0
docker restart kafka1
docker restart kafka2# 查看日志
docker logs -f kafka0# 刪除kafka
docker rm -f kafka0
docker rm -f kafka1
docker rm -f kafka2

測試

mongodb集群搭建，????測試建立3的副本和5的partition，查看是否配置成功。然后在1和2上啟動消費者，0生產消息

# 建立副本和partition
docker exec -ti kafka0 kafka-topics.sh --create --zookeeper 192.168.101.104:2181 --replication-factor 3 --partitions 5 --topic TestTopic
# 查看信息
docker exec -ti kafka0 kafka-topics.sh --describe --zookeeper 192.168.101.104:2181 --topic TestTopic
docker exec -ti kafka1 kafka-topics.sh --describe --zookeeper 192.168.101.104:2181 --topic TestTopic
docker exec -ti kafka2 kafka-topics.sh --describe --zookeeper 192.168.101.104:2181 --topic TestTopic# 消費和生產，最后一個kafka0輸出后在其他兩個能看到
docker exec -ti kafka1 kafka-console-consumer.sh --bootstrap-server 192.168.101.104:9093 --topic TestTopic --from-beginning
docker exec -ti kafka2 kafka-console-consumer.sh --bootstrap-server 192.168.101.104:9094 --topic TestTopic --from-beginning
docker exec -ti kafka0 kafka-console-producer.sh --broker-list 192.168.101.104:9092 --topic TestTopic# 性能測試
docker exec -ti kafka0 kafka-producer-perf-test.sh --topic TestTopic --num-records 100000 --record-size 1000 --throughput 2000 --producer-props bootstrap.servers=192.168.101.104:9092
docker exec -ti kafka0 kafka-consumer-perf-test.sh --bootstrap-server 192.168.101.104:9092 --topic TestTopic --fetch-size 1048576 --messages 100000 --threads 1

kafka manage

????使用docker啟動后，訪問: http://localhost:9000/ , 點擊添加cluster，輸入前兩個（名稱和zk地址），保存即可

docker run -dit -p 9000:9000 -e ZK_HOSTS="192.168.101.104:2181" hlebalbau/kafka-manager:stablehttp://localhost:9000/

參考鏈接

• 【Kafka精進系列003】Docker環境下搭建Kafka集群
• kafka如何徹底刪除topic及數據