Clickhouse集群的搭建方法及搭建过程中报错的解决方法

本文介绍: 3.2、在四个节点上配置2分片，每个分片3副本的集群策略,zookeeper 默认端口是2181，参见/ch data/zookeeper/apache–zookeeper-3.7.1-bin/conf/zo o.cfg 配置文件中clientPo rt 配置项，clickhouse 端口默认是9000，参见/etc/clickhouse–server/config.xml 配置文件中tcp _p o rt 配置项。配置数据文件存放路径。分布式表的写入和查询，可以利用多台服务器的存储、计算资源，具有较好的横向拓展能力。

官方文档
 https://clickhouse.com/docs/zh/get ting–start ed/tutor i al#cluster–deploy m ent
https://clickhouse.com/docs/en/engine s/table–engine s/s pe ci al/dist ributed
https://zookeeper.apache.org/

Cli c k house的优点
列式存储数据库，数据压缩；
关系型、支持SQL；
分布式并行计算，把单机性能压榨到极限；
高可用；数据量级在PB级别。

集群的分片和副本和节点数量的选择，CK offici ally support s only on e shard/re pli ca per node
分片数*副本数=节点数
最佳实践就是3分片2副本6节点

3节点3分片2副本，无法配置起来，会报错DB::Exc eption: Th e re a re two e xa ctly the same Cli c kHouse in sta nc es DAILACHDBUD001:9000 in cluster cluster _3shared2re pli ca s

Cli c kHouse 集群集群部署设置步骤:
在群集的所有机器上安装Cli ckHouse 服务端
在配置文件中设置集群配置
在每个实例上创建本地表
创建一个分布式表，分布式表实际上是一种view，映射到Cli ckHouse集群的本地表。从分布式表中执行SELECT查询会使用集群所有分片的资源。您可以为多个集群指定 config s，并创建多个分布式表，为不同的集群提供视图。
备注：也就是说集群的最终目标就是为了能创建分布式表，通过分布式表可以实现读取量发布到各个节点，也是为了能给大表做横向扩展。

集群<cluster _2shared2re pli ca s>配置项对ENGINE = Distributed表和ENGINE = Repli catedMergeTree表和MergeTree表有效，集群配置项中只对ENGINE = Repli catedMergeTree表有效。单独的ENGINE = MergeTree仅仅是对表的数据做分片，这样的话Cli ckhouse缺少了两个功能————数据高可用(HA)和横向扩展。HA的目的是为了如果有一个数据副本丢失或者损坏不至于完全丢失数据，至于横向扩展自然是为了提高数据存储能力了。数据高可用(HA)的实现需要使用Repli catedMergeTree表引擎，横向扩展的实现需要使用Distributed表引擎，MergeTree表引擎+Distributed表引擎同时使用，只能做分片并把分片分发到不同节点，但是Distributed表查询的总量还是异常

Clickhouse除了提供TCP 9000端口的连接，还提供了HTTP 8123端口的连接 http://ip:8123/play

Clickhouse本身没有类似Mon go db一样的Mongos Route Server前端路由实例让整个集群看上去像单一连接点以便前端应用可以透明连接该路由实例，但是可以通过F5或A10提供的负载均衡功能来实现Clickhouse的路由接入，通过负载均衡设置提供的单一地址实现客户端连接到多个不同clickhouse节点

ClickHouse集群环境下，DDL语句的同步使用ZooKeeper来同步，所以在一个节点上create alter本地表时加上on cluster cluster name的话，这张表的表结构就会同时在其他节点上被create alter

click house集群是非主从结构，各个节点是相互独立的，这点和mongodb不一样。分片（Shard）就是将一份数据分片段存储到多台服务器上，每台服务器只存储这份数据的一部分，在这种架构下，每台服务器被称为一个分片（Shard）。副本（Repli ca）就是将一份数据冗余存储到多台服务器上。假如4台服务器的集群环境下，2分片2副本的集群策略的话，就是把一份数据分成2个片段来存储，这2个片段都有2份，也就是这一份数据在物理上变成了4个单元，其中4个单元分成2个片段，每个片段的2份的数据是一模一样。

本地表（Loc al Table）
数据只会存储在当前写入的节点上，不会被分散到多台服务器上。本地表的写入和查询，受限于单台服务器的存储、计算资源，不具备横向拓展能力。

分布式表（Distributed Table）
本地表的集合，它将多个本地表抽象为一张统一的表，对外提供写入、查询功能。当写入分布式表时，数据会被自动分发到集合中的各个本地表中；当查询分布式表时，集合中的各个本地表都会被分别查询，并且把最终结果汇总后返回。分布式表的写入和查询，可以利用多台服务器的存储、计算资源，具有较好的横向拓展能力。ClickHouse集群就是因为分布式表(Distributed Table)而产生的。

Clickhouse集群环境：4节点搭建2分片2副本的实验

1、操作系统的配置
1.1、四节点的IP、服务器名称、OS信息如下

172.22.137.132 DAILACHDBUD001 Ubuntu 22.04
172.22.137.133 DAILACHDBUD002 Ubuntu 22.04
172.22.137.134 DAILACHDBUD003 Ubuntu 22.04
172.22.137.136 DAILACHDBUD004 Ubuntu 22.04

1.2、四节点都配置/etc/hosts 文件

172.22.137.134 DAILACHDBUD003
172.22.137.133 DAILACHDBUD002
172.22.137.132 DAILACHDBUD001
172.22.137.136 DAILACHDBUD004

1.3、四节点都关闭防火墙

ufw disable

2、zookeeper 集群配置
2.1、下载 zookeeper，进入 zookeeper 页面 https://zookeeper.apache.org/releases.html 可以看到各个版本，下载最新的稳定版

wget https://dlcdn.apache.org/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz

2.2、四台服务器都把zookeeper安装包放到/ch data/zookeeper目录后并解压，拷贝zoo_sam ple.cfg成zoo.cfg，并修改或新增zoo.cfg，/chdata/zookeeper/apache-zookeeper-3.7.1-bin/conf/zoo.cfg内容如下

dataDir=/chdata/zookeeper/data
server.1=DAILACHDBUD001:2888:3888
server.2=DAILACHDBUD002:2888:3888
server.3=DAILACHDBUD003:2888:3888
server.4=DAILACHDBUD004:2888:3888

–备注：server.每个节点服务编号=服务器ip 地址：集群通信端口：选举端口

2.3、四台服务器分别配置/chdata/zookeeper/data/my id，使/chdata/zookeeper/data/my id 内容和上面步骤3中的server.1=DAILACHDBUD001对应，也就是1对应服务器DAILACHDBUD001

DAILACHDBUD001上执行：echo 1 >> /chdata/zookeeper/data/myid
DAILACHDBUD002上执行：echo 2 >> /chdata/zookeeper/data/myid
DAILACHDBUD003上执行：echo 3 >> /chdata/zookeeper/data/myid
DAILACHDBUD004上执行：echo 4 >> /chdata/zookeeper/data/myid

2.4、四台服务器安装 jdk(不安装的话，启动zookeeper的时候会报错)并启动四台服务器的zookeeper，并查看四台服务器的角色

apt-cache search openjdk
apt install openjdk-18-jdk
/chdata/zookeeper/apache-zookeeper-3.7.1-bin/bin/zkServer.sh start /chdata/zookeeper/apache-zookeeper-3.7.1-bin/conf/zoo.cfg
/chdata/zookeeper/apache-zookeeper-3.7.1-bin/bin/zkServer.sh status /chdata/zookeeper/apache-zookeeper-3.7.1-bin/conf/zoo.cfg

2.5、连接四台服务器的zookeeper，检查是否可以正常连接

/chdata/zookeeper/apache-zookeeper-3.7.1-bin/bin/zkCli.sh -server DAILACHDBUD001:2181
/chdata/zookeeper/apache-zookeeper-3.7.1-bin/bin/zkCli.sh -server DAILACHDBUD002:2181
/chdata/zookeeper/apache-zookeeper-3.7.1-bin/bin/zkCli.sh -server DAILACHDBUD003:2181
/chdata/zookeeper/apache-zookeeper-3.7.1-bin/bin/zkCli.sh -server DAILACHDBUD004:2181

3、clickhouse集群配置
3.1、在四个节点上安装 clickhouse，创建路径/chdata/clickhouse/data/和/chdata/clickhouse/user _files/用来分别存放数据文件和用户文件，由于操作系统是ubuntu，所以用ubuntu的官方预编译 deb 软件包

sudo apt-get install -y apt-transport-https ca-certificates dirmngr
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 8919F6BD2B48D754
echo "deb https://packages.clickhouse.com/deb stable main" > /etc/apt/sources.list.d/clickhouse.list
sudo apt-get update
sudo apt-get install -y clickhouse-server clickhouse-client
sudo service clickhouse-server start

3.2、在四个节点上配置2分片，每个分片3副本的集群策略,zookeeper默认端口是2181，参见/chdata/zookeeper/apache-zookeeper-3.7.1-bin/conf/zoo.cfg配置文件中clientPort配置项，clickhouse端口默认是9000，参见/etc/clickhouse-server/config.x ml配置文件中tcp _port配置项。配置数据文件存放路径

/chdata/clickhouse/data/
和用户文件存放路径<user _files _path>/chdata/clickhouse/user_files/</user_files_path>，本机绑定地址让集群内的各个节点互通，配置宏来识别每个用于创建表的分片和副本(1-2节点配置01，3-4节点配置02，的话每个节点配置为自己的服务器名即可比如DAILACHDBUD001配置为DAILACHDBUD001)。

/chdata/clickhouse/data/

<user_files_path>/chdata/clickhouse/user_files/</user_files_path>

<listen_host>::</listen_host>

</remote_servers>
<cluster_2shared2replicas>

<internal_repli cat ion>true</internal_replica tion>

DAILACHDBUD001
9000
default
Won123_De1
<password_sha256_hex>9174c7d10af863c34f4fc684413740431cda606273ea1cea905d3f08cb84c820</password_sha256_hex>

DAILACHDBUD002
9000
default
Won123_De1
<password_sha256_hex>9174c7d10af863c34f4fc684413740431cda606273ea1cea905d3f08cb84c820</password_sha256_hex>

<internal_replica tion>true</internal_replica tion>

DAILACHDBUD003
9000
default
Won123_De1
<password_sha256_hex>9174c7d10af863c34f4fc684413740431cda606273ea1cea905d3f08cb84c820</password_sha256_hex>

DAILACHDBUD004
9000
de fa ult
Won123_De1
<pass word_sha256_hex>9174c7d10af863c34f4fc684413740431cda606273ea1cea905d3f08cb84c820</password_sha256_hex>

</cluster_2shared2replicas>
</remote_servers>

<zookeeper>
        <node>
                <host>DAILACHDBUD001</host>
                <port>2181</port>
        </node>
        <node>
                <host>DAILACHDBUD002</host>
                <port>2181</port>
        </node>
        <node>
                <host>DAILACHDBUD003</host>
                <port>2181</port>
        </node>
        <node>
                <host>DAILACHDBUD004</host>
                <port>2181</port>
        </node>
</zookeeper>


<macros>
        <shard>01</shard>
        <replica>DAILACHDBUD001</replica>
</macros>

 <networks>
        <ip>::/0</ip>
 </networks>

备注1：如果新增配置文件，这配置文件中最上和最下的<></>里面内容试了只能是yandex或clickhouse，否则启动不了会报错Fai led to merge config with /etc/clickhouse-server/config.d/cluster policy.x ml，并且<></>里面的内容必须严格按照x ml格式，否则启动不了会报错 code=exited, status=232/ADDRESS_FAMILIES且通过 journal ctl –xe也看不到任何有效信息

备注2：首先查看 config.x ml是否已经有remote_servers配置项，有的话，在里面加就行了。个人遇到的问题：在config.xml里面添加了remote_servers配置项并自定义的集群名称后，重启发现clickhouse后没有看到自定义的集群名称，show clusters时一直显示系统默认的8个集群名称，后来才发现 config.xml里面已经有了remote_servers配置项并且配置了默认的8个集群名称

备注3：参数 internal_replicat ion 是否启用内部复制，即写入数据时只写入到一个副本，其他副本的同步工作靠复制表和ZooKeeper异步进行。Whether to write data to just one of the replicas. Defa ult: false (write data to all replicas).

备注4：项中指定 shardreplica值后，以后创建复制表时可以直接使用ENGINE = ReplicatedMergeTree()不用带参数，参数会自动使用项中指定的shardreplica值代入到ReplicatedMergeTree(‘/clickhouse/tables/{shard}/{database}/table_name’, ‘{replica}’),参考 https://clickhouse.com/docs/zh/engines/table–engines/mergetree–family/replicat ion

备注5：项中指定::/0，表示要为任何网络的用户打开访问权限

备注6：不启动clickhouse的情况下，各个节点执行/chdata/zookeeper/apache-zookeeper-3.7.1-bin/bin/zkServer.sh status可以看到谁是主谁是从，但是各个节点执行netstat -pan |grep 2181发现没有连接

备注7：10
，如果分片权重越大，那么其被写入的数据也会越多。

4、验证
4.1、4节点配置密码文件/etc/clickhouse-server/users.d/defa ult-password.xml，如下两种形式都行

形式1
<yandex>
    <users>
        <default>
            <password>Won123_De1</password>
        </default>
    </users>
</yandex>

形式2
<yandex>
    <users>
        <default>
            <password remove='1' />
            <password_sha256_hex>9174c7d10af863c34f4fc684413740431cda606273ea1cea905d3f08cb84c820</password_sha256_hex>
        </default>
    </users>
</yandex>

4.2、4节点都启动或重启clickhouse服务

root@DAILACHDBUD001:~# systemctl start clickhouse-server

4.3、clickhouse-client 命令行连接到clickhouse集群各个节点执行

root@DAILACHDBUD001:~# clickhouse-client -h DAILACHDBUD001 --port 9000 --password Won123_De1
root@DAILACHDBUD001:~# clickhouse-client -h DAILACHDBUD002 --port 9000 --password Won123_De1
root@DAILACHDBUD001:~# clickhouse-client -h DAILACHDBUD003 --port 9000 --password Won123_De1
root@DAILACHDBUD001:~# clickhouse-client -h DAILACHDBUD004 --port 9000 --password Won123_De1

DAILACHDBUD001 :) show clusters;
┌─cluster─────────────────────────────────────────┐
│ cluster_2shared2replicas                        │
│ parallel_replicas                               │
│ test_cluster_one_shard_three_replicas_localhost │
│ test_cluster_two_shards                         │
│ test_cluster_two_shards_internal_replication    │
│ test_cluster_two_shards_localhost               │
│ test_shard_localhost                            │
│ test_shard_localhost_secure                     │
│ test_unavailable_shard                          │
└─────────────────────────────────────────────────┘

备注：4个节点执行show clusters;都显示了cluster_2shared2replicas

DAILACHDBUD001 :) select cluster,shard_num,shard_weight,replica_num,host_name,host_address,port,user from system.clusters where cluster='cluster_2shared2replicas';
┌─cluster──────────────────┬─shard_num─┬─shard_weight─┬─replica_num─┬─host_name──────┬─host_address───┬─port─┬─user────┐
│ cluster_2shared2replicas │         1 │            1 │           1 │ DAILACHDBUD001 │ 172.22.137.132 │ 9000 │ default │
│ cluster_2shared2replicas │         1 │            1 │           2 │ DAILACHDBUD002 │ 172.22.137.133 │ 9000 │ default │
│ cluster_2shared2replicas │         2 │            1 │           1 │ DAILACHDBUD003 │ 172.22.137.134 │ 9000 │ default │
│ cluster_2shared2replicas │         2 │            1 │           2 │ DAILACHDBUD004 │ 172.22.137.136 │ 9000 │ default │
└──────────────────────────┴───────────┴──────────────┴─────────────┴────────────────┴────────────────┴──────┴─────────┘

备注：4个节点查询system.clusters系统表，都显示正都有cluster_2shared2replicas，且每个分片对应4台机器

5、设置开机启动,使用 deb包安装的clickhouse已经自动配置了开机启动，剩下就是设置zookeeper的开机启动
5.1、编辑文件/root/script/startupzookeeper.sh内容如下

#!/bin/bash
/chdata/zookeeper/apache-zookeeper-3.7.1-bin/bin/zkServer.sh start /chdata/zookeeper/apache-zookeeper-3.7.1-bin/conf/zoo.cfg

5.2、编辑文件/usr/lib/systemd/system/zookeeper.service 内容如下

[Unit]
Description=zookeeper
After=network.target

[Service]
User=root
Group=root
Type=forking
ExecStart=/bin/bash /root/script/startupzookeeper.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

5.3、执行systemctl enable zookeeper命令，设置开机启动

root@ODSLACHDBUP001:~# systemctl enable zookeeper
Created symlink /etc/systemd/system/multi-user.target.wants/zookeeper.service → /lib/systemd/system/zookeeper.service

clickhouse错误日志存放在/var/log/clickhouse-server/目录

3节点，3shard，3replicats配置如下，遇到很多问题
create database testlukes20230526 on cluster cluster_3shared3replicas;
报错

DAILACHDBUD001 . DB::Exception: There are two exactly the same ClickHouse instances DAILACHDBUD001:9000 in cluster cluster_3shared3replicas
DAILACHDBUD002 . DB::Exception: There are two exactly the same ClickHouse instances DAILACHDBUD002:9000 in cluster cluster_3shared3replicas
DAILACHDBUD003 . DB::Exception: There are two exactly the same ClickHouse instances DAILACHDBUD003:9000 in cluster cluster_3shared3replicas

报错解读：clickhouse不允许有相同host，因为不允许互相存有分片副本。每个分片每个副本需要配置在单独的节点上。（CK officially supports only one shard/replica per node. ）
解决方法：在节点1 DAILACHDBUD001上重新配置3个分片的副本，只保留DAILACHDBUD002和DAILACHDBUD003，在节点2 DAILACHDBUD002上重新配置3个分片的副本，只保留DAILACHDBUD001和DAILACHDBUD003，在节点3 DAILACHDBUD003上重新配置3个分片的副本，只保留DAILACHDBUD001和DAILACHDBUD002

create database testlukes20230526 on cluster cluster_3shared3replicas;

继续报错

DAILACHDBUD001 . DB::Exception: Not found host DAILACHDBUD001:9000 in definition of cluster cluster_3shared3replicas.
DAILACHDBUD002 . DB::Exception: Not found host DAILACHDBUD002:9000 in definition of cluster cluster_3shared3replicas.
DAILACHDBUD003 . DB::Exception: Not found host DAILACHDBUD003:9000 in definition of cluster cluster_3shared3replicas.

<cluster_3shared3replicas>
<shard>
<internal_replication>true</internal_replication>
<replica>
<host>DAILACHDBUD001</host>
<port>9000</port>
</replica>
<replica>
<host>DAILACHDBUD002</host>
<port>9000</port>
</replica>
<replica>
<host>DAILACHDBUD003</host>
<port>9000</port>
</replica>
</shard>
<shard>
<internal_replication>true</internal_replication>
<replica>
<host>DAILACHDBUD001</host>
<port>9000</port>
</replica>
<replica>
<host>DAILACHDBUD002</host>
<port>9000</port>
</replica>
<replica>
<host>DAILACHDBUD003</host>
<port>9000</port>
</replica>
</shard>
<shard>
<internal_replication>true</internal_replication>
<replica>
<host>DAILACHDBUD001</host>
<port>9000</port>
</replica>
<replica>
<host>DAILACHDBUD002</host>
<port>9000</port>
</replica>
<replica>
<host>DAILACHDBUD003</host>
<port>9000</port>
</replica>
</shard>
</cluster_3shared2replicas>

3节点，3shard，2 replicats配置如下，创建engine=MergeTree()的表时会报错DB::Exception: There are two exactly the same ClickHouse instances DAILACHDBUD001:9000 in cluster cluster_3shared2replicas

<cluster_3shared2replicas>
<shard>
<internal_replication>true</internal_replication>
<replica>
<host>DAILACHDBUD001</host>
<port>9000</port>
</replica>
<replica>
<host>DAILACHDBUD002</host>
<port>9000</port>
</replica>
</shard>
<shard>
<internal_replication>true</internal_replication>
<replica>
<host>DAILACHDBUD002</host>
<port>9000</port>
</replica>
<replica>
<host>DAILACHDBUD003</host>
<port>9000</port>
</replica>
</shard>
<shard>
<internal_replication>true</internal_replication>
<replica>
<host>DAILACHDBUD003</host>
<port>9000</port>
</replica>
<replica>
<host>DAILACHDBUD001</host>
<port>9000</port>
</replica>
</shard>
</cluster_3shared2replicas>