本文介绍: Kafka集群部署
没有提示，所有机器都执行
在kafka集群中引入zookeeper，主要是为了管理kafka集群的broker。负责管理集群的元数据信息，确保 Kafka 集群的高可用性、高性能和高可靠性。
一、实例配置
| IP | 用途 |
|---|---|
| 192.168.0.217 | kafka、zk |
| 192.168.0.218 | kafka、zk |
| 192.168.0.219 | kafka、zk |
二 、zookeeper集群安装
- 解压zk安装包
$ tar xf apache-zookeeper-3.6.2-bin.tar.gz
$ mv apache-zookeeper-3.6.2-bin /data/zookeeper
- 修改zookeeper配置文件
$ vim /data/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/data
clientPort=2181
maxClientCnxns=512
server.217=192.168.0.217:2888:3888
server.218=192.168.0.218:2888:3888
server.219=192.168.0.219:2888:3888
$ mkdir /data/zookeeper/data
#根据实例自行修改
$ echo 217 > /data/zookeeper/data/myid
- 托管到systemd
$ vim /usr/lib/systemd/system/zookeeper.service
[Unit]
Description=Apache Zookeeper service
Requires=network.target
After=network.target
[Service]
Type=forking
Environment=JAVA_HOME=/usr/local/java
ExecStart=/data/zookeeper/bin/zkServer.sh start
ExecStop=/data/zookeeper/bin/zkServer.sh stop
Restart=on-failure
RestartSec=10s
[Install]
WantedBy=multi-user.target
$ systemctl daemon-reload
- 启动zk
$ systemctl start zookeeper
三、kafka集群安装
- 解压kafka安装包
$ tar xf kafka_2.12-2.6.0.tgz
$ mv kafka_2.12-2.6.0 /data/kafka
- 修改kafka配置
$ vim /data/kafka/config/server.properties
# 每个实例不同
broker.id=217
listeners=PLAINTEXT://192.168.0.217:9092 #
advertised.listeners=PLAINTEXT://192.168.0.217:9092 #
# kafka存储日志文件的目录
log.dirs=/data/kafka/kafka-logs
# 存储消费者偏移量的主题的副本因子
offsets.topic.replication.factor=3
# 设置事务日志主题的副本因子
transaction.state.log.replication.factor=3
log.retention.hours=48 # 数据保留48小时
zookeeper.connect=192.168.0.217:2181,192.168.0.218:2181,192.168.0.219:2181 #
$ mkdir /data/kafka/kafka-logs
- 托管到systemd
$ vim /usr/lib/systemd/system/kafka.service
[Unit]
Description=Apache Kafka server
Documentation=http://kafka.apache.org/documentation.html
Requires=network.target remote-fs.target
After=network.target remote-fs.target zookeeper.service
[Service]
Type=forking
Environment=JAVA_HOME=/usr/local/java
ExecStart=/data/kafka/bin/kafka-server-start.sh -daemon /data/kafka/config/server.properties
ExecStop=/data/kafka/bin/kafka-server-stop.sh /data/kafka/config/server.properties
Restart=on-failure
RestartSec=10s
[Install]
WantedBy=multi-user.target
$ systemctl daemon-reload
- 启动kafka
$ systemctl start kafka
四、验证
- 登录zookeeper查看kafka信息
/data/zookeeper/bin/zkCli.sh
> ls /brokers/ids
[217, 218, 219]
> get /brokers/ids/217
可以看到kafka已经注册到zookeeper
原文地址:https://blog.csdn.net/yuanfangPOET/article/details/135466162
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.7code.cn/show_53476.html
如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
