#zookeeper集群+kafka集群

kafka3.0之前是依赖于zookeeper的。

zookeeper是开源，分布式的架构。提供协调服务（Apache项目）

基于观察者模式涉及的分布式服务管理架构。

存储和管理数据。分布式节点上的服务接受观察者的注册。一旦分布式节点上的数据发生变化，由zookeeper负责通知分布式节点上的服务。

互相监督，互相监控，用于大数据分析场景。

zookeeper：分为领导者和追随者 leader follower组成的集群

只要有一半以上的集群存活，zookeeper集群就可以正常工作。适用于安装奇数台的服务集群

主要作用：全局数据一致，每个zookeeper都可以保存一份相同的数据。维护监控服务的数据一致。

数据更新的原子性。要么都成功要么都失败。

实时性，只要有变化，立刻同步。

zookeeper的应用场景：

1.统一命名服务，在分布式的环境下，对所有的应用和服务都进行统一命名

2.统一配置管理，配置文件同步，kafka的配置文件被修改可以快速同步到其他节点。

3.统一集群管理：实时掌握所有节点的状态。

4.服务器动态上下线

5.实现负载均衡，把访问服务器的数据发送到访问最少的服务器客户端的请求

领导者和追随者：

zookeeper的选举机制。

三台服务器为例 A B C

A先启动，发起一次选举，投票给自己，只有一票，不满半数，A的状态是looking

B启动，再发起一次选举，A和B分别投自己一票，交换选举信息，myid，A发现B的myid比A大，A的这一票会转而投给B

A 0 B 2 没有半数以上结果，A B会进入looking B有可能成为leader

C启动 MYID C的myid最大，A和B都会把票投给C，加上C自己的一票

A 0 B 0 C 3

C的状态变为leader，A和B会变为follower

只要leader确定，后续的服务器都是追随者。

只有两种情况会开启选举机制：

1.初始化的情况会产生选举

2.服务器之间和leader丢失了连接状态

leader已存在，建立连接即可

leader不存在，服务器id大的胜出（EPOCH大，直接胜出。EPOCH相同，事务id大的胜出）

EPOCH：每个leader任期的一个代号，没有leader，大家的逻辑地位相同，每投完一

次数据，数据都是递增的。

事务id：表示

服务器的每一次变更

服务器id：用来表示zookeeper集群当中，都有个id，每台机器不重复，和myid保持一致

实验部署

zookeeoer+kafka(2.7.0)

192.168.233.10 ---zookeeper+kafak  20.0.0.10
192.168.233.20 ---zookeeper+kafak
192.168.233.30 ---zookeeper+kafak

2/4G

关闭防火墙
所有服务器
拖入kafak,zookeeper

所有服务器
升级java环境
yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

java -version

line 2
tickTime=2000
服务器与客户端的心跳时间（ms）
line 6
initLimit=10
领导者和追随者之间，初始连接时能够容忍的超时时间，最多几次心跳超时

line 10
syncLimit=5
同步超时时间，领导者和追随者之间同步通信超时的时间，超过5*2就会认为follower丢失，移出集群

line15
dataDir=/tmp/zookeeper
保存数据的目录，需要单独创建

line18
clientPort=2181

line15下添加
dataLogDir=/opt/zookeeper/logs

最后一行添加整个集群信息
server.1=192.168.233.10:3188:3288
server.2=192.168.233.20:3188:3288
server.3=192.168.233.30:3188:3288

server.1=192.168.233.10:3188:3288 server.2=192.168.233.20:3188:3288 server.3=192.168.233.30:3188:3288

1：每个zookeeper集群的初始myid。

192.168.233.10：服务器的IP地址

3188：领导者和追随者之间交换信息的端口（内部通信端口）

3288：一旦leader丢失响应，开启选举，3288就是用来进行选举时的服务器通信端口。

根据zoo.cfg里面的目录路径创建路径

输入myid

test1，2，3

编辑脚本

vim /etc/init.d/zookeeper
编辑脚本

#!/bin/bash
#chkconfig:2345 20 90
#description:Zookeeper Service Control Script
ZK_HOME='/opt/zookeeper'
case $1 in
start)
	echo "---------- zookeeper 启动 ------------"
	$ZK_HOME/bin/zkServer.sh start
;;
stop)
	echo "---------- zookeeper 停止 ------------"
	$ZK_HOME/bin/zkServer.sh stop
;;
restart)
	echo "---------- zookeeper 重启 ------------"
	$ZK_HOME/bin/zkServer.sh restart
;;
status)
	echo "---------- zookeeper 状态 ------------"
	$ZK_HOME/bin/zkServer.sh status
;;
*)
    echo "Usage: $0 {start|stop|restart|status}"
esac

wq

chmod +x /etc/init.d/zookeeper

每台服务器都添加
chkconfig --add zookeeper



test1，2，3
service zookeeper start


service zookeeper status
查看谁是leader

消息队列KAFKA

为什么要引入消息队列（MQ），他是一个中间件。负责发消息。在高并发环境下，同步请求来不及处理。来不及处理的请求会形成阻塞。

比如数据库会进行行锁或者表锁。请求线程满了，超标了，会报错：too many connection。导致整个系统雪崩

消息队列的作用： 1.异步处理请求（核心）

允许用户把一个消息放入队列，但是不立即处理，等用户想处理的时候再处理

2.流量消减，应用解耦

耦合：在软件系统当中，修改一个组件需要修改其他组件，高度耦合

低度耦合：修改其中一个组件，对其他组件影响不大，无须修改所有

解耦：只要通信保证，其他的不影响整个集群，可以独立的扩展，修改，降低组件之间的依赖性。

依赖点就是接口约束，通过不同的端口，保证集群通信。

3.可恢复性：

系统当中的有一部分组件消失，不影响整个系统。也就是说在消息队列当中，即使有一个处理消息的进程失败，一旦恢复还可以重写加入到队列当中，继续处理消息。

4.缓冲：

可以控制和优化数据经过系统的时间和速度。解决生产消息和消费消息处理速度不一致的问题。

5.峰值的处理能力：

消息队列在峰值的情况下，能够顶住突发的访问压力。避免专门为了突发情况而对系统进行修改

消息队列的模式

点对点，一对一：消息的生产者发送消息到队列中，消费者从队列中提取消息，消费者提取完之后，队列中被提取的消息将会被移除。后续消费者不能再消费队列当中的消息。消息队列可以有多个消费者，但是一个消息，只能由一个消费者提取。

RABBITMQ

发布订阅模式：一对多，观察者模式。消费者提取数据之后队列当中的数据不会被清除。

生产者发布一个消息到主题。所有消费者都是通过主题获取消息。

主题：topic **

topic类似一个数据流管道，生产者把消息发布到主题。消费者从主题当中订阅数据。主题可以分区，每个分区都有自己的偏移量。

分区—partition**

每个主题都可以分成多个分区。每个分区是数据的有序子集，分区可以允许kafka进行水平扩展，以处理大量数据。

消息在分钟按照偏移量存储，消费者可以独立读取每个分区的数据

偏移量**

每个消息在分区当中唯一的标识。消费者可以通过偏移量来跟踪已读或者未读消息的位置。也可以提交这个偏移量来记录已处理的信息。

消费三种方式： 1.begin，从头开始，获取所有

2.实时获取，我只消费，后续产生的消息

3.指定偏移量消费，代码实现

生产者

生产者把数据发送kafka的主题当中，负责写入消息。

消费者

从主题当中读取数据，消费者可以是一个也可以是多个。每个消费者有一个唯一的消费者ID，Kafka通过消费者实现负载均衡和容错性。

经纪人—Broker

每个Kafka节点都有一个borker，每个负责一台Kafka服务器，id唯一，存储主题分区当中数据，处理生产和消费者的请求。

维护元数据（zookeeper）

zookeeper：zookeeper负责保存元数据，元数据就是topic的相关信息（发在哪台主机上，指定了多少分区，以及副本数，偏移量）

zookeeper自建一个主题：_consumer_offsets

3.0之后不依赖zookeeper的核心。元数据由Kafka节点自己管理。

Kafka的工作流程

生产者写入topic的数据是持久化的，默认7小时

至少一次语义：只要消费者进入，确保消息至少被消费一次

实验部署

test1,2,3
cd /opt
tar -xf kafka
mv kafka_2,13..   kafka

设置环境变量
vim /etc/profile
最后插入
export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin
source /etc/profile

cd kafka
cd config/
ls

server.properties是主配置文件

server.properties是主配置文件

先备份

test1 2 3    每台主机配置有些许不同
vim server.properties

line 21  60  123

line 21
broker.id=1
//同时也是leader的id，三台主机，不重复即可

line 28
如果用broker进行修改，该行可以不改

line 42
num.network.thread=3
处理网络的线程数量，默认即可

line 46
num.io.thread=8
处理磁盘的io线程数量，这个值一定要比硬盘数大

line 50
socket.send.buffer.bytes=102400
发送套接字的缓存大小

line 54
socket.receive.buffer.bytes=102400
接受者的接受套接字缓冲区大小

line58
socket.request.max.bytes=104857600
请求套接字的缓冲区大小

line 65
log.dirs=/var/log/kafka

line 70
num.partitions=1
在此Kafka服务器上创建topic，默认分区数。如果指定了，这个配置无效了。

line75
num.recovery.thread.per.data.dir=1
用来恢复，回收，清理data下的数据的线程数量。Kafka默认不允许删除主题。

line110（103）
log.retention.hours=168
生产者发布的数据文件在主题当中保存的时间，单位-小时

line130（123）
zookeeper.connect=192.168.233.10:2181,192.168.233.20:2181,192.168.233.30:2181
//指定zookeeper集群

wq

test1,2,3

设置Kafka启动脚本

#!/bin/bash
#chkconfig:2345 22 88
#description:Kafka Service Control Script
KAFKA_HOME='/opt/kafka'
case $1 in
start)
	echo "---------- Kafka 启动 ------------"
	${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties
;;
stop)
	echo "---------- Kafka 停止 ------------"
	${KAFKA_HOME}/bin/kafka-server-stop.sh
;;
restart)
	$0 stop
	$0 start
;;
status)
	echo "---------- Kafka 状态 ------------"
	count=$(ps -ef | grep kafka | egrep -cv "grep|$$")
	if [ "$count" -eq 0 ];then
        echo "kafka is not running"
    else
        echo "kafka is running"
    fi
;;
*)
    echo "Usage: $0 {start|stop|restart|status}"
esac

wq

chmod +x /etc/init.d/kafka
chkconfig --add kafka
service kafka start

netstat -antp | grep 9092

test2–创建主题

kafka所有命令都在bin下，所以执行命令都得去bin目录下执行

cd /opt/kafka/bin/

kafka-topics.sh --create --zookeeper 20.0.0.10:2181,20.0.0.20:2181,20.0.0.60:2181 --replication-factor 2 --partitions 3 --topic test1


--replication-factor 2：创建的副本数，副本的作用就是冗余

创建主题成功

1.在Kafka的bin目录下，是所有kafka可执行命令文件

2.–zookeeper指定的是zookeeper的地址和端口，保存kafka的元数据

3.–replication-factor 2 定义每个分区的副本数

4.partitions 3 指定主题的分区数

 5.–topic test1 指定主题的名称

Partition：分区编号

Leader：每个分区都有一个领导者（Leader），领导者负责处理分区的读写操作。 在上述输出中，领导者的编号分别为 3、1、3。

Replicas：每个分区可以有多个副本（Replicas），用于提供冗余和容错性。 在上述输出中，Replica 3、1、2 分别对应不同的 Kafka broker。

Isr：ISR（In-Sync Replicas）表示当前与领导者保持同步的副本。 ISR 3、1分别表示与领导者同步的副本。

test1,2,3
做映射
20.0.0.10 test1
20.0.0.20 test2
20.0.0.60 test3

发布消息

bin目录下
test2
kafka-console-producer.sh --broker-list 20.0.0.10:9092,20.0.0.20:9092,20.0.0.60:9092 --topic test1

kafka-console-consumer.sh --bootstrap-server 20.0.0.10:9092,20.0.0.20:9092,20.0.0.60:9092 --topic test2  --from-beginning

test2

创建主题必须要创建分区，分区一定要给副本数

kafka-topics.sh --create --zookeeper 192.168.233.20:2181 --replication-factor 1 --partitions 1 --topic gq1


test3
kafka-topics.sh --create --zookeeper 192.168.233.20:2181 --replication-factor 1 --partitions 1 --topic gq2


test1
kafka-console-consumer.sh --bootstrap-server 192.168.233.20:9092 --topic gq1

kafka-console-consumer.sh --bootstrap-server 192.168.233.20:9092 --topic gq2

test2
发起
kafka-console-producer.sh --broker-list 192.168.233.20:9092 -topic gq1

修改分区数

kafka-topics.sh --zookeeper 192.168.233.20:2181 --alter --topic gq1 --partitions 3

test2
kafka-topics.sh --describe --zookeeper 192.168.233.20:2181 --alter --topic gq1 

kafka-topics.sh --delete --zookeeper 192.168.233.20:2181 --topic gq1

总结：

1.zookeeper：主要是分布式，观察者模式。统一各个服务器节点的数据。

在Kafka当中，他就是收集保存Kafka的元数据。

2.kafka消息队列，订阅发布模式

RABBIT MQ 轻量级

KAFKA 速度快，占用资源

代码007普通

打赏 收藏 海报 链接