当前位置：
  1. 首页
  2. 互联网
  3. 正文
本文介绍: Elasticsearch是一个开源的分布式搜索引擎，能够快速地进行全文检索、结构化搜索、分析等操作。为了增加其可靠性和容错性，Elasticsearch支持多节点之间的集群，并采用了Shard（分片）和Replica（副本）机制来分摊负载、提高可用性。下面我们来详细讲解一下Elasticsearch集群的概念、架构和部署方式。

目录

一、集群的概念

1、节点

2、索引

3、分片和副本

二、集群的架构

Elasticsearch是一个开源的分布式搜索引擎，能够快速地进行全文检索、结构化搜索、分析等操作。为了增加其可靠性和容错性，Elasticsearch支持多节点之间的集群，并采用了Shard（分片）和Replica（副本）机制来分摊负载、提高可用性。

下面我们来详细讲解一下Elasticsearch集群的概念、架构和部署方式。

Elasticsearch集群中的一个单独的实例就是一个节点。一个节点可以是物理上的服务器，也可以是虚拟机、容器等。每个节点都有一个唯一的名称，格式为“hostname–数字”，其中数字表示该节点在集群中的顺序。

Elasticsearch中的索引就像关系型数据库中的数据库，是一个逻辑上的容器，用于存储数据。每个索引可以包含多个文档，每个文档可以包含多个字段。

为了支持水平扩展和提高容错性，Elasticsearch将每个索引分成多个分片，每个分片存储部分数据。每个分片都是一个Lucene实例，可以由不同的节点来存储和处理。在分片的基础上，Elasticsearch还支持将分片的副本分布在多个节点上，以便在主节点失效时能够快速切换到新节点上。

Elasticsearch的集群架构是基于Master-Node结构的，每个集群都有一个Master节点，负责管理整个集群的状态和分配分片。除了Master节点之外，其他节点都是Data节点，存储分片和响应请求。在集群中，同一节点既可以是Master节点，也可以是Data节点。

Master节点是集群的控制中心，负责以下任务：

Data节点是存储数据的节点，负责以下任务：

在集群中，每个节点都有一个唯一的节点名称，并且每个分片都有一个唯一的ID。分片的分配过程由Master节点控制，可以按照分片ID、索引名称、节点名称等多个因素进行选择和分配。

Elasticsearch可以在多个节点上部署，以形成一个集群。节点可以在同一台物理服务器上运行，也可以在不同的物理服务器上运行。在部署集群时，需要注意以下几点：

  1. 同一集群中的所有节点必须使用相同的集群名称，以便自动加入同一集群。

  2. 不同的节点要求具有相同的版本和配置，以便能够互相通信和进行分片的转移。

  3. 必须指定Master节点的名称和IP地址。

  4. 可以通过设置环境变量或者配置文件来修改节点的名称、IP地址、端口等信息。

  5. 对于Data节点，需要注意硬盘容量和性能，以便存储和查询大量数据。

在实际部署Elasticsearch集群时，可以采取以下几种方式：

这种方式在小型集群中比较常见，只有一个Master节点和多个Data节点。优点是简单易用，缺点是Master节点可能成为单点故障，不能容忍Master节点的故障。

这种方式比较适用于大型集群，可以将Master角色分散到多个节点中，从而避免单点故障。多个Master节点之间需要进行协调和同步，可以使用Zookeeper、Consul等分布式协调工具来实现。

为了保证Elasticsearch集群的安全性，可以使用TLS/SSL协议来加密通信、使用X-Pack或其他认证/授权工具来控制访问权限。此外，还可以使用备份和恢复工具来备份和恢复集群数据，以防数据丢失。

三十一、安装elasticsearch-CSDN博客

脑裂（Split Brain）是分布式系统中的一种问题，特别是在使用主从（Master-Slave）或主（Master-Master）架构的系统中。在Elasticsearch（ES）集群中，脑裂是指集群中的节点之间失去了有效的通信，导致集群被分成两个或多个独立的子集，每个子集认为自己是整个集群的唯一部分。

  1. 数据一致性问题： 不同的子集可能在相同的时间内对相同的数据进行不同的修改，导致数据不一致。

  2. 服务可用性问题： 由于脑裂导致集群分裂成多个部分，可能会导致某些部分无法提供服务，影响整体的可用性。

  1. Quorum设置： 在ES中，通过设置适当的minimum_master_nodes参数来避免脑裂。这个参数定义了在一个分片中必须有多少个主节点才能维持集群的稳定性。设置这个参数可以防止脑裂的发生。

    discovery.zen.minimum_master_nodes: 2

  2. Zen Discovery配置： Zen Discovery是ES用于节点发现和管理的默认插件。通过配置Zen Discovery，可以优化节点之间的通信，减少脑裂的风险。

    discovery.zen.fd.ping_timeout: 3s discovery.zen.fd.ping_retries: 3

    这些参数可以调整节点之间的心跳检测策略，以更好地处理网络分区的情况。

  3. 网络配置： 确保集群节点之间的网络连接是可靠的。网络分区是导致脑裂的一个常见原因。优化网络设置，减少网络故障的可能性。

  4. 监控和警报： 设置监控和警报系统，及时检测到脑裂问题。可以使用Elasticsearch内置的监控工具，也可以使用第三方监控工具。

  5. 集群规模和架构设计： 考虑集群的规模和架构设计，确保它符合业务需求。有时候，调整节点数量和布局可以减少脑裂的风险。

ES集群的分布式存储是通过以下两种机制来实现：

  • ES将每个索引分成多个数据片段（shard），每个数据片段都是一个Lucene索引，包含索引中的一部分数据。
  • 数据片段可以分散存储在集群中的多台节点上，从而实现数据的分布式存储。

coordinating node会把请求分发到每一个分片

coordinating node汇总data node的搜索结果，并处理为最终结果集返回给用户

显示所有内容
上一篇 数据结构—＞单链表
下一篇 登录校验——JWT（JSON Web Token）介绍

相关文章

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

插入图片
浏览器会保存昵称、邮箱和网站cookies信息，下次评论时使用。