三十、elasticsearch集群

同一集群中的所有节点必须使用相同的集群名称，以便自动加入同一集群。

不同的节点要求具有相同的版本和配置，以便能够互相通信和进行分片的转移。

必须指定Master节点的名称和IP地址。

可以通过设置环境变量或者配置文件来修改节点的名称、IP地址、端口等信息。

对于Data节点，需要注意硬盘容量和性能，以便存储和查询大量数据。

在实际部署Elast icsearch集群时，可以采取以下几种方式：

1、单主节点

这种方式在小型集群中比较常见，只有一个Master节点和多个Data节点。优点是简单易用，缺点是Master节点可能成为单点故障，不能容忍Master节点的故障。

2、多主节点

这种方式比较适用于大型集群，可以将Master角色分散到多个节点中，从而避免单点故障。多个Master节点之间需要进行协调和同步，可以使用Zo o keeper、Consul等分布式协调工具来实现。

3、安全集群

为了保证Elasticsearch集群的安全性，可以使用TLS/SSL协议来加密通信、使用X-Pack或其他认证/授权工具来控制访问权限。此外，还可以使用备份和恢复工具来备份和恢复集群数据，以防数据丢失。

四、搭建ES集群

三十一、安装elasticsearch-CSDN博客

1、elasticsearch中集群节点有不同的职责划分

2、elasticsearch中的每个节点角色都有自己不同的职责，因此建议集群部署时，每个节点都有独立的角色

3、ES集群的脑裂

脑裂（Split Brain）是分布式系统中的一种问题，特别是在使用主从（Master-Slave）或主（Master-Master）架构的系统中。在Elasticsearch（ES）集群中，脑裂是指集群中的节点之间失去了有效的通信，导致集群被分成两个或多个独立的子集，每个子集认为自己是整个集群的唯一部分。

（1）、这种情况可能会导致以下问题：

数据一致性问题： 不同的子集可能在相同的时间内对相同的数据进行不同的修改，导致数据不一致。

服务可用性问题： 由于脑裂导致集群分裂成多个部分，可能会导致某些部分无法提供服务，影响整体的可用性。

（2）、解决ES集群的脑裂 问题，可以考虑以下几个方面：

Quorum 设置： 在ES中，通过设置适当的minimum_master_nodes参数来避免脑裂。这个参数定义了在一个分片中必须有多少个主节点才能维持集群的稳定性。设置这个参数可以防止脑裂的发生。
discovery.zen.minimum_master_nodes: 2
Zen Disco very配置： Zen Disco very是ES用于节点发现和管理的默认插件。通过配置Zen Disco very，可以优化节点之间的通信，减少脑裂的风险。
discovery.zen.fd.ping_timeout: 3s discovery.zen.fd.ping_retries: 3
这些参数可以调整节点之间的心跳检测策略，以更好地处理网络分区的情况。
网络配置： 确保集群节点之间的网络连接是可靠的。网络分区是导致脑裂的一个常见原因。优化网络设置，减少网络故障的可能性。

监控和警报： 设置监控和警报系统，及时检测到脑裂问题。可以使用Elasticsearch内置的监控工具，也可以使用第三方监控工具。

集群规模和架构设计： 考虑集群的规模和架构设计，确保它符合业务需求。有时候，调整节点数量和布局可以减少脑裂的风险。

五、ES集群的分布式存储

ES集群的分布式存储是通过以下两种机制来实现：

1、数据分片

ES将每个索引分成多个数据片段（shard），每个数据片段都是一个Lucene索引，包含索引中的一部分数据。

数据片段可以分散存储在集群中的多台节点上，从而实现数据的分布式存储。

2、副本机制

ES通过副本机制来保证数据的可靠性和高可用性。

每个数据片段都有一份主分片和零个或多个副本分片，副本分片是主分片的完全复制。

主分片和副本分片分散存储在不同的节点上，确保了节点故障或不可用时数据的可靠性和高可用性。

在ES集群中，当有新的文档被索引或更新时，ES会自动将文档分配到对应的数据片段中，并将数据片段存储到集群中的某个节点上。

ES还提供了路由机制来优化搜索效率，通过将搜索请求发送到具有相关数据片段的节点处理，从而降低搜索请求的网络传输量、提高搜索效率。