SpringBoot与ElasticSearch检索笔记整理

- 日理万妓 2023-02-17 11:27 16阅读 0赞

### 文章目录 ###

*   *   *   *  介绍
             *   *  （一）检索
                 *  （二）主要概念融合
             *  安装
             *  检索方式学习
             *   *  （一）索引员工文档
                 *  （二）检索文档
                 *  （三）轻量搜索
                 *  （四）使用查询表达式搜索
                 *  （五）更复杂的查询
                 *  （六）全文搜索
                 *  （七）高亮搜索
                 *  （八）检索总结
             *  SpringBoot整合ES
             *   *  （一）简单介绍和自动配置分析
                 *  （二）Jest客户端整合使用
                 *  （三）SpringData ES整合使用
                 *   *  （1）官方文档参考
                     *  （2）自动配置类介绍
                     *  （3）ElasticsearchRepository方式操作

#### 介绍 ####

##### （一）检索 #####

我们的应用经常需要添加检索功能，开源的 ElasticSearch 是目前全文搜索引擎的首选。他可以快速的存储、搜索和分析海量数据。Spring Boot通过整合Spring Data ElasticSearch为我们提供了非常便捷的检索功能支持；

Elasticsearch是一个分布式搜索服务，提供Restful API，底层基于Lucene，采用多shard（分片）的方式保证数据安全，并且提供自动resharding的功能，github等大型的站点也是采用了ElasticSearch作为其搜索服务

##### （二）主要概念融合 #####

在Elasticsearch中有几个重要的概念，这里将该名词与开发中的数据库系统进行关系映射，以此来更好的认识理解这些概念  
![在这里插入图片描述][20200613234439535.png]  
引用官方文档：

第一个业务需求是存储员工数据。 这将会以 员工文档 的形式存储：一个文档代表一个员工。存储数据到 Elasticsearch 的行为叫做 索引 ，但在索引一个文档之前，需要确定将文档存储在哪里。

一个 Elasticsearch 集群可以 包含多个 索引 ，相应的每个索引可以包含多个 类型 。 这些不同的类型存储着多个 文档 ，每个文档又有 多个 属性 。

索引（名词）：

如前所述，一个 索引 类似于传统关系数据库中的一个 数据库 ，是一个存储关系型文档的地方。 索引 (index) 的复数词为 indices 或 indexes 。

索引（动词）：

索引一个文档 就是存储一个文档到一个 索引 （名词）中以便被检索和查询。这非常类似于 SQL 语句中的 INSERT 关键词，除了文档已存在时，新文档会替换旧文档情况之外。

倒排索引：

关系型数据库通过增加一个 索引 比如一个 B树（B-tree）索引 到指定的列上，以便提升数据检索速度。Elasticsearch 和 Lucene 使用了一个叫做 倒排索引 的结构来达到相同的目的

#### 安装 ####

Docker下载镜像

$docker  pull  elasticsearch

启动  
由于ES启动需要2G的内存，为了保证测试正常运行，在这里设置了内存大小为256M，9200端口暴露给外部访问，9300暴露给集群各节点的数据通信

$docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -p 9200:9200 -p 9300:9300 --name myEs 5acf0e8da90b

测试：访问如下地址返回JSON格式的数据即为正常  
http://host\_ip:9200/

#### 检索方式学习 ####

Elasticsearch 返回一个 HTTP 状态码（例如：200 OK）和（除`HEAD`请求）一个 JSON 格式的返回值

员工索实例(官方文档实例)：这里使用PostMan工具来进行请求发送

https://www.elastic.co/guide/cn/elasticsearch/guide/cn/\_indexing\_employee\_documents.html

实验准备：

1：每个员工索引一个文档，文档包含该员工的所有信息。  
2：每个文档都将是 employee 类型 。  
3：该类型位于 索引 megacorp 内。

##### （一）索引员工文档 #####

PUT /megacorp/employee/1
    { 
        "first_name" : "John",
        "last_name" :  "Smith",
        "age" :        25,
        "about" :      "I love to go rock climbing",
        "interests": [ "sports", "music" ]
    }

PostMan使用：其中PUT框选择请求方式，地址栏填入RestFul请求，如果请求方式带有方法体，在Body部分选择raw填入请求文档数据，右侧可以选择数据文档格式，建议JSON  
![在这里插入图片描述][20200613234849351.png]  
注意，路径 /megacorp/employee/1 包含了三部分的信息：

megacorp  
索引名称  
employee  
类型名称  
1  
特定雇员的ID  
请求体 —— JSON 文档 —— 包含了这位员工的所有详细信息，他的名字叫 John Smith ，今年 25 岁，喜欢攀岩。  
很简单！无需进行执行管理任务，如创建一个索引或指定每个属性的数据类型之类的，可以直接只索引一个文档。Elasticsearch 默认地完成其他一切，因此所有必需的管理任务都在后台使用默认设置完成。

通过PostMan刚才的请求，现在查看响应体可以发现ES已经为我们添加了索引，并且索引了一个文档  
![在这里插入图片描述][20200613234904390.png]  
接着依次通过PostMan工具将下面俩条数据索引到文档中

PUT /megacorp/employee/2
    { 
        "first_name" :  "Jane",
        "last_name" :   "Smith",
        "age" :         32,
        "about" :       "I like to collect rock albums",
        "interests":  [ "music" ]
    }
    
    PUT /megacorp/employee/3
    { 
        "first_name" :  "Douglas",
        "last_name" :   "Fir",
        "age" :         35,
        "about":        "I like to build cabinets",
        "interests":  [ "forestry" ]
    }

##### （二）检索文档 #####

目前我们已经在 Elasticsearch 中存储了一些数据， 接下来就能专注于实现应用的业务需求了。第一个需求是可以检索到单个雇员的数据。

这在 Elasticsearch 中很简单。简单地执行 一个 HTTP GET 请求并指定文档的地址——索引库、类型和ID。 使用这三个信息可以返回原始的 JSON 文档：

发送GET请求

http://192.168.0.104:9200/megacorp/employee/1

返回结果包含了文档的一些元数据，以及 \_source 属性，内容是 John Smith 雇员的原始 JSON 文档：

{ 
        "_index": "megacorp",
        "_type": "employee",
        "_id": "1",
        "_version": 1,
        "found": true,
        "_source": { 
            "first_name": "John",
            "last_name": "Smith",
            "age": 25,
            "about": "I love to go rock climbing",
            "interests": [
                "sports",
                "music"
            ]
        }
    }

注意：将 HTTP 命令由 PUT 改为 GET 可以用来检索文档，同样的，可以使用 DELETE 命令来删除文档，以及使用 HEAD 指令来检查文档是否存在。如果想更新已存在的文档，只需再次 PUT 。HEAD 指令 如果检索到数据返回200，如果未检索到数据返回404，没有响应体

##### （三）轻量搜索 #####

GET /megacorp/employee/_search

可以看到，我们仍然使用索引库 megacorp 以及类型 employee，但与指定一个文档 ID 不同，这次使用 \_search 。返回结果包括了所有三个文档，放在数组 hits 中。一个搜索默认返回十条结果。

注意：返回结果不仅告知匹配了哪些文档，还包含了整个文档本身：显示搜索结果给最终用户所需的全部信息。

接下来，尝试下搜索姓氏为 `Smith` 的雇员。为此，我们将使用一个 高亮 搜索，很容易通过命令行完成。这个方法一般涉及到一个 查询字符串 （query-string） 搜索，因为我们通过一个URL参数来传递查询信息给搜索接口：

GET /megacorp/employee/_search?q=last_name:Smith

我们仍然在请求路径中使用 \_search 端点，并将查询本身赋值给参数 q= 。返回结果给出了所有的 Smith：

##### （四）使用查询表达式搜索 #####

Query-string 搜索通过命令非常方便地进行临时性的即席搜索 ，但它有自身的局限性（参见 轻量 搜索 ）。Elasticsearch 提供一个丰富灵活的查询语言叫做 查询表达式 ， 它支持构建更加复杂和健壮的查询。

领域特定语言 （DSL）， 使用 JSON 构造了一个请求。我们可以像这样重写之前的查询所有名为 Smith 的搜索 ：

GET /megacorp/employee/_search
    { 
        "query" : { 
            "match" : { 
                "last_name" : "Smith"
            }
        }
    }

返回结果与之前的查询一样，但还是可以看到有一些变化。其中之一是，不再使用 query-string 参数，而是一个请求体替代。这个请求使用 JSON 构造，并使用了一个 match 查询

##### （五）更复杂的查询 #####

现在尝试下更复杂的搜索。 同样搜索姓氏为 Smith 的员工，但这次我们只需要年龄大于 30 的。查询需要稍作调整，使用过滤器 filter ，它支持高效地执行一个结构化查询。

GET /megacorp/employee/_search
    { 
        "query" : { 
            "bool": { 
                "must": { 
                    "match" : { 
                        "last_name" : "smith" 
                    }
                },
                "filter": { 
                    "range" : { 
                        "age" : {  "gt" : 30 } 
                    }
                }
            }
        }
    }

这部分与我们之前使用的 match 查询 一样。  
这部分是一个 range 过滤器 ， 它能找到年龄大于 30 的文档，其中 gt 表示\_大于\_(great than)

##### （六）全文搜索 #####

截止目前的搜索相对都很简单：单个姓名，通过年龄过滤。现在尝试下稍微高级点儿的全文搜索——一项 传统数据库确实很难搞定的任务。

搜索下所有喜欢攀岩（rock climbing）的员工：

GET /megacorp/employee/_search
    { 
        "query" : { 
            "match" : { 
                "about" : "rock climbing"
            }
        }
    }

Elasticsearch 默认按照相关性得分排序，即每个文档跟查询的匹配程度。第一个最高得分的结果很明显：John Smith 的 about 属性清楚地写着 “rock climbing” 。

但为什么 Jane Smith 也作为结果返回了呢？原因是她的 about 属性里提到了 “rock” 。因为只有 “rock” 而没有 “climbing” ，所以她的相关性得分低于 John 的。

这是一个很好的案例，阐明了 Elasticsearch 如何 在 全文属性上搜索并返回相关性最强的结果。Elasticsearch中的 相关性 概念非常重要，也是完全区别于传统关系型数据库的一个概念，数据库中的一条记录要么匹配要么不匹配。  
短语搜索  
找出一个属性中的独立单词是没有问题的，但有时候想要精确匹配一系列单词或者\_短语\_ 。 比如， 我们想执行这样一个查询，仅匹配同时包含 “rock” 和 “climbing” ，并且 二者以短语 “rock climbing” 的形式紧挨着的雇员记录。

为此对 match 查询稍作调整，使用一个叫做 match\_phrase 的查询：

GET /megacorp/employee/_search
    { 
        "query" : { 
            "match_phrase" : { 
                "about" : "rock climbing"
            }
        }
    }

##### （七）高亮搜索 #####

许多应用都倾向于在每个搜索结果中 高亮 部分文本片段，以便让用户知道为何该文档符合查询条件。在 Elasticsearch 中检索出高亮片段也很容易。

再次执行前面的查询，并增加一个新的 highlight 参数：

GET /megacorp/employee/_search
    { 
        "query" : { 
            "match_phrase" : { 
                "about" : "rock climbing"
            }
        },
        "highlight": { 
            "fields" : { 
                "about" : { }
            }
        }
    }

##### （八）检索总结 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L09jdG9wdXMyMQ_size_16_color_FFFFFF_t_70]

#### SpringBoot整合ES ####

##### （一）简单介绍和自动配置分析 #####

下面通过SpringBoot来整合ES，启动选择时选择ElasticSearch即可，本次测试版本为SpringBoot 1.X  
SpringBoot默认使用Spring Data来操作ElasticSearch的.  
查看SpringBoot的自动配置包可以发现它有俩种方式交互ElasticSearch，  
第一种是JEST，第二种是SpringData ElasticSearch  
![在这里插入图片描述][20200613235533841.png]  
JEST默认是不生效的，SpringData ElasticSearch默认引入

如果需要使用JEST则需要添加对应的依赖并且去掉SpringData ElasticSearch  
的依赖,根据ElasticSearch的版本选择JEST依赖，二者依赖不要同时引入

##### （二）Jest客户端整合使用 #####

<dependency>
        <groupId>io.searchbox</groupId>
        <artifactId>jest</artifactId>
        <version>6.3.1</version>
    </dependency>

使用Jest来操作ES，该自动配置包下有俩个主要的类，一个是自动配置类，一个是属性映射类：  
JestAutoConfiguration类中提供了@Bean JestClient该对象可以为我们提供具体的ES操作功能  
JestProperties：提供了相关的ES配置映射  
uris：表示的连接的主机地址，可以有多个，默认为http://localhost:9200

配置文件application.properties添加配置

spring.elasticsearch.jest.uris=http://192.168.0.104:9200

@RunWith(SpringRunner.class)
    @SpringBootTest
    public class SpringbootElasticsearchApplicationTests { 
    
        @Autowired
        JestClient jestClient;
        //索引文档到索引中
        @Test
        public void createIndex() throws IOException { 
            Employee employee = new Employee();
            employee.setId(4);
            employee.setFirst_name("lihua");
            employee.setLast_name("bob");
            employee.setAge(18);
            employee.setAbout("hello world");
            List<String> list = new ArrayList<>();
            list.add("ball");
            list.add("sing");
            employee.setInterests(list);
            //构建一个索引，将employee文档索引到megacorp上
            Index index = new Index.Builder(employee).index("megacorp").type("employee").build();
            jestClient.execute(index);
    
        }
    
        //检索数据
        @Test
        public void search() throws IOException { 
            //创建一个搜索表达式
            String json = "{\n" +
                    " \"query\" : {\n" +
                    " \"match\" : {\n" +
                    " \"about\" : \"rock climbing\"\n" +
                    " }\n" +
                    " }\n" +
                    "}";
            //构建搜索
            Search build = new Search.Builder(json).addIndex("megacorp").addType("employee").build();
            SearchResult result = jestClient.execute(build);
           //返回的result 包含了查询的头部信息和内部JSON数据
            System.out.println(result);
    
        }
    }

索引文档结果可以通过PostMan工具查询是否已经索引文档到库中

##### （三）SpringData ES整合使用 #####

###### （1）官方文档参考 ######

https://docs.spring.io/spring-data/elasticsearch/docs/3.2.5.RELEASE/reference/html/\#new-features

###### （2）自动配置类介绍 ######

自动配置类：ElasticsearchAutoConfiguration  
主要信息：  
1：Client类，集群节点信息clusterNodes、clusterName  
2：ElasticsearchProperties配置映射  
前缀：spring.data.elasticsearch  
开发时需要配置俩个属性：  
clusterName  
clusterNodes

3：ElasticsearchTemplate 操作elasticsearch  
4: ElasticsearchRepository,可继承该类，通过继承该类使用该类的各种操作方法，类似于JPA的Repository模式

使用注意：elasticsearch和SpringData Elasticsearch版本存在很多不一致，在使用过程中启动可能存在问题，所以需要将版本进行匹配  
![在这里插入图片描述][20200613235714924.png]  
备注：本次实验使用版本情况如下：  
SpringBoot：1.5.12.RELEASE，SpringData Elasticsearch依赖于SpringBoot  
elasticsearch：2.4.6

<dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
      </dependency>

设置配置文件

#集群名(默认值: elasticsearch)
    spring.data.elasticsearch.cluster-name=elasticsearch
    #默认 9300 是 Java 客户端的端口。9200 是支持 Restful HTTP 的接口
    #集群节点地址列表，用逗号分隔。如果没有指定，就启动一个客户端节点
    spring.data.elasticsearch.cluster-nodes=192.168.0.104:9300

###### （3）ElasticsearchRepository方式操作 ######

接下来使用ElasticsearchRepository操作ES，首先创建一个实体类作为传输的文档数据，  
Employee，字段名称同官方文档中的员工实例属性

然后创建一个接口EmployeeRepository继承ElasticsearchRepository，设置对应的数据类型，  
泛型参数中：Employee为数据格式，Integer为ID主键类型

public interface EmployeeRepository  extends ElasticsearchRepository<Employee,Integer> { 
    
    }

通过下面注解来声明索引和类型  
@Document(indexName = “megacorp”,type = “employee”)  
其中indexName 表示索引名称，type 表示类型

@Document(indexName = "megacorp",type = "employee")
    public class Employee { 
    
        private Integer id;
        private String first_name;
        private String last_name;
        private Integer age;
        private String about;
    private List<String> interests;
    //省略setter和getter等
    }

测试

@RunWith(SpringRunner.class)
    @SpringBootTest
    public class SpringbootElasticsearchApplicationTests { 
    
    
        @Autowired
        EmployeeRepository employeeRepository;
    
        @Test
        public void employeeRepositoryInsert() { 
            Employee employee = new Employee();
            employee.setId(5);
            employee.setFirst_name("lihua");
            employee.setLast_name("bob");
            employee.setAge(43);
            employee.setAbout("hello world");
            List<String> list = new ArrayList<>();
            list.add("game");
            list.add("football");
    		employee.setInterests(list);
            employeeRepository.index(employee);
        }
    
    }

生成结果

![在这里插入图片描述][20200613235912626.png]

除了使用父类提供的方法外，还可以自定义方法，可以根据提示来创建方法名，格式类似于MyBatis的Example的用法，详细的介绍参考官方文档

public interface EmployeeRepository extends ElasticsearchRepository<Employee, Integer> { 
    public  List<Employee>  findEmployeeByAboutIsLike(String about);
    }

@Test
        public void TestFindEmployeesByFirst_nameIsLike() { 
    
            List<Employee> employees = employeeRepository.findEmployeeByAboutIsLike("hello");
            System.out.println("-----------------------");
            for (Employee employee : employees) { 
                System.out.println(employee);
            }
    
        }

[20200613234439535.png]: https://img-blog.csdnimg.cn/20200613234439535.png
[20200613234849351.png]: https://img-blog.csdnimg.cn/20200613234849351.png
[20200613234904390.png]: https://img-blog.csdnimg.cn/20200613234904390.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L09jdG9wdXMyMQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200613235506408.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L09jdG9wdXMyMQ==,size_16,color_FFFFFF,t_70
[20200613235533841.png]: https://img-blog.csdnimg.cn/20200613235533841.png
[20200613235714924.png]: https://img-blog.csdnimg.cn/20200613235714924.png
[20200613235912626.png]: https://img-blog.csdnimg.cn/20200613235912626.png