Elasticsearch(ES)概述

一.什么是Elasticsearch?

Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。

Elasticsearch是一款非常强大的开源搜索引擎，可以帮助我们从海量数据中快速找到需要的内容。

Elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK）。被广泛应用在日志数据分析、实时监控等领域。

Elasticsearch是elastic stack的核心(不可替换)，负责存储、搜索、分析数据。

1.正向索引和倒排索引

文档（document）：每条数据就是一个文档

词条（term）：文档按照语义分成的词语

正向索引（Forward Index）：
定义： 正向索引是根据文档-词项对的方式建立的索引。每个文档都有一个记录，其中包含了文档中的所有词项及其位置信息。

例如Mysql就是使用的正向索引,根据id检索一个文档非常快,但是根据文档中某个字段检索文档只能逐条检索

倒排索引（Inverted Index）：
定义： 倒排索引是根据词项-文档对的方式建立的索引。每个词项都有一个记录，其中包含了包含该词项的所有文档及其位置信息。即对文档内容分词，对词条创建索引，并记录词条所在文档的信息。查询时先根据词条查询到文档id，而后获取到文档

Elasticsearch就使用了倒排索引,将文档按照语义分成词条,根据词条建立词条表,这样就形成了词条-文档的结构,导致检索字段时非常快

倒排索引中包含两部分内容：

• 词条词典（Term Dictionary）：记录所有词条，以及词条与倒排列表（Posting List）之间的关系，会给词条创建索引，提高查询和插入效率

• 倒排列表（Posting List）：记录词条所在的文档id、词条出现频率 、词条在文档中的位置等信息

  • 文档id：用于快速获取文档

  • 词条频率（TF）：文档在词条出现的次数，用于评分

文档:

elasticsearch是面向文档存储的，可以是数据库中的一条商品数据，一个订单信息。
文档数据会被序列化为json格式后存储在elasticsearch中。

索引:

相同类型的文档的集合

映射：

索引中文档的字段约束信息，类似表的结构约束

2.Mysql和ES的概念对比

Mysql：擅长事务类型(ACID特性)操作，可以确保数据的安全和一致性

Elasticsearch：擅长海量数据的搜索、分析、计算

总而言之:

• 正向索引适合于文档级别的查询，因为它直接提供了文档中的词项信息。

• 倒排索引适合于词项级别的查询，因为它直接提供了包含某个词项的文档信息。

3.安装elasticsearch、kibana

通过Dokcer拉取镜像安装即可

二.IK分词器

ES在创建倒排索引时需要对文档分词；在搜索时，需要对用户输入内容分词。但默认的分词规则对中文处理并不友好。故需要更好的分词策略:IK分词器

安装(安装到es-plugins/_data即可):IK分词器官方地址,重启es后IK分词器生效

ik分词器包含两种模式：

• ik_smart：最少切分，粗粒度
• ik_max_word：最细切分，细粒度

IK分词器-拓展词库

IK分词器虽然说按照字典查找词语进行组合,但是随着网络文化发展和新词的逐渐产生,IK分词器不可能马上更新这些词汇,这时候就需要进行拓展词汇库和增加禁用词汇

要拓展ik分词器的词库，只需要修改一个ik分词器目录中的config目录中的IkAnalyzer.cfg.xml文件：

在ext.dic文件中添加拓展词汇

在stopword.dic文件下添加禁用词汇

三.索引库操作

mapping属性

mapping是对索引库中文档的约束，常见的mapping属性包括：

• type：字段数据类型，常见的简单类型有：

  • 字符串：text（可分词的文本）、keyword（精确值，例如：品牌、国家、ip地址）

  • 数值：long、integer、short、byte、double、float

  • 布尔：boolean

  • 日期：date

  • 对象：object

• index：是否创建索引，默认为true

• analyzer：使用哪种分词器

• properties：该字段的子字段

创建索引库

PUT /索引库名称
{
  "mappings": {
    "properties": {
      "字段名":{
        "type": "text",
        "analyzer": "ik_smart"
      },
      "字段名2":{
        "type": "keyword",
        "index": "false"
      },
      "字段名3":{
        "properties": {
          "子字段": {
            "type": "keyword"
          }
        }
      },
      // ...略
    }
  }
}

查看索引库语法：

GET /索引库名 

删除索引库的语法：

DELETE /索引库名 

修改索引库

索引库和mapping一旦创建无法修改，但是可以添加新的字段，语法如下：

PUT /索引库名/_mapping
{
  "properties": {
    "新字段名":{
      "type": "integer"
    }
  }
}

四.文档操作

添加文档

POST /索引库名/_doc/文档id
{
    "字段1": "值1",
    "字段2": "值2",
    "字段3": {
        "子属性1": "值3",
        "子属性2": "值4"
    },
    // ...
}

查看文档语法：

GET /索引库名/_doc/文档id 

删除索引库的语法：

DELETE /索引库名/_doc/文档id 

修改文档

方式一：全量修改，会删除旧文档，添加新文档

PUT /索引库名/_doc/文档id
{
    "字段1": "值1",
    "字段2": "值2",
    // ... 略
}

方式二：增量修改，修改指定字段值

POST /索引库名/_update/文档id
{
    "doc": {
         "字段名": "新的值",
    }
}

文档操作-动态映射

当我们向ES中插入文档时，如果文档中字段没有对应的mapping，ES会帮助我们字段设置mapping，规则如下：

五.RestClient操作索引库

什么是RestClient
ES官方提供了各种不同语言的客户端，用来操作ES。这些客户端的本质就是组装DSL语句，通过http请求发送给ES。

使用:

1.初始化RestClient

1.引入es的RestHighLevelClient依赖：

		<dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
        </dependency>

2.可以发现客户端的版本号,引入的依赖版本必须和客户端一致(不一致则需修改)

修改版本号

	<properties>
        <java.version>1.8</java.version>
        <elasticsearch.version>客户端版本号</elasticsearch.version>
    </properties>

3.初始化RestHighLevelClient：

	private RestHighLevelClient client;

    //测试类中使用@BeforeEach注解来标记一个方法，该方法将在每个测试方法执行之前执行(@AfterEach同理)
    @BeforeEach
    void setUp(){
        this.client=new RestHighLevelClient(RestClient.builder(
                HttpHost.create("自己的Linux局域网ip地址:9200")
        ));
    }
    @AfterEach
    void tearDown() throws IOException {
        this.client.close();
    }

2.创建索引库

	@Test
    void testCreateHotelIndex() throws IOException {
        CreateIndexRequest request = new CreateIndexRequest("索引库名");

        request.source("DSL语句", XContentType.JSON);

        client.indices().create(request, RequestOptions.DEFAULT);
    }

其中:indices()包含了所有操作索引库的API

3.删除索引库

	@Test
	void testDeleteHotelIndex() throws IOException {   
		// 1.创建Request对象
		DeleteIndexRequest request = new DeleteIndexRequest("索引库名");
		// 2.发起请求
		client.indices().delete(request, RequestOptions.DEFAULT);
}

4.判断索引库是否存在

	@Test
	void testExistsHotelIndex() throws IOException {    
		// 1.创建Request对象    
		GetIndexRequest request = new GetIndexRequest("索引库名");    
		// 2.发起请求     
		boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);    
		// 3.输出    
		System.out.println(exists);
}

六.RestClient操作文档

1.新增文档

IndexRequest request = new IndexRequest("索引库名").id(设置id);

request.source(JSON文档, XContentType.JSON);

client.index(request, RequestOptions.DEFAULT);

2.查询数据

GetRequest request = new GetRequest(索引库名, id);    

GetResponse response = client.get(request, RequestOptions.DEFAULT);   

String json = response.getSourceAsString();

3.修改数据

UpdateRequest request = new UpdateRequest(索引库名,id);

request.doc("键1","值1","键2","值2"...);

client.update(request, RequestOptions.DEFAULT);

4.删除数据

DeleteRequest request = new DeleteRequest(索引库名,id);

client.delete(request, RequestOptions.DEFAULT);

5.批量插入数据

request.add(new IndexRequest(索引库名).id(id1).source(JSON文档1, XContentType.JSON));
request.add(new IndexRequest(索引库名).id(id2).source(JSON文档2, XContentType.JSON));
request.add(new IndexRequest(索引库名).id(id3).source(JSON文档3, XContentType.JSON));
//request可以添加多个IndexRequest
client.bulk(request, RequestOptions.DEFAULT);

代码007普通

打赏 收藏 海报 链接