Spring Data Elasticsearch案例详解

谁践踏了优雅 2022-05-22 06:48 300阅读 0赞

# 一、Elasticsearch 工作原理 #

1.1 文档存储的路由  
当索引到一个文档（如：报价系统），具体的文档数据（如：报价数据）会存储到一个分片。具体文档数据会被切分，并分别存储在分片 1 或者 分片 2 …   
那么如何确定存在哪个分片呢?  
存储路由过程由下面地公式决定：

shard = hash(routing) % number_of_primary_shards

routing 是可变值，支持自定义，默认文档 \_id。  
hash 函数生成数字，经过取余算法得到余数，那么这个余数就是分片的位置。  
这是不是有点负载均衡的类似。  
   
1.2 如何健康检查  
集群名，集群的健康状态

GET http://127.0.0.1:9200/_cluster/stats 
    {
       "cluster_name":          "elasticsearch",
       "status":                "green", 
       "timed_out":             false,
       "number_of_nodes":       1,
       "number_of_data_nodes":  1,
       "active_primary_shards": 0,
       "active_shards":         0,
       "relocating_shards":     0,
       "initializing_shards":   0,
       "unassigned_shards":     0
    }

status 字段是需要我们关心的。状态可能是下列三个值之一：

green
    所有的主分片和副本分片都已分配。你的集群是 100% 可用的。
    yellow
    所有的主分片已经分片了，但至少还有一个副本是缺失的。不会有数据丢失，所以搜索结果依然是完整的。高可用会弱化把 yellow 想象成一个需要及时调查的警告。
    red
    至少一个主分片（以及它的全部副本）都在缺失中。这意味着你在缺少数据：搜索只能返回部分数据，而分配到这个分片上的写入请求会返回一个异常。

active\_primary\_shards 集群中的主分片数量  
active\_shards 所有分片的汇总值  
relocating\_shards 显示当前正在从一个节点迁往其他节点的分片的数量。通常来说应该是 0，不过在 Elasticsearch 发现集群不太均衡时，该值会上涨。比如说：添加了一个新节点，或者下线了一个节点。  
initializing\_shards 刚刚创建的分片的个数。  
unassigned\_shards 已经在集群状态中存在的分片。  
   
1.3 如何水平扩容  
主分片在索引创建已经确定。读操作可以同时被主分片和副分片处理。因此，更多的分片，会拥有更高的吞吐量。自然，需要增加更多的硬件资源支持吞吐量。  
说明，这里无法提高性能，因为每个分片获得的资源会变少。

动态调整副本分片数，按需伸缩集群，比如把副本数默认值为 1 增加到 2：

PUT /blogs/_settings
    {
       "number_of_replicas" : 2
    }

# 二、示例 #

运行环境：JDK 7 或 8，Maven 3.0+

技术栈：SpringBoot 1.5+， Spring Data Elasticsearch 1.5+ ，ElasticSearch 2.3.2

1.pom.xml 依赖

<?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/ma ... gt%3B <modelVersion>4.0.0</modelVersion>
        <groupId>springboot</groupId>
        <artifactId>spring-data-elasticsearch-crud</artifactId>
        <version>0.0.1-SNAPSHOT</version>
        <name>spring-data-elasticsearch-crud :: spring-data-elasticsearch - 基本案例 </name>
        
        <parent>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-parent</artifactId>
            <version>1.5.1.RELEASE</version>
        </parent>
        <dependencies>
            
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
            </dependency>
            
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-web</artifactId>
            </dependency>
            
            <dependency>
                <groupId>junit</groupId>
                <artifactId>junit</artifactId>
                <version>4.12</version>
            </dependency>
        </dependencies>
    </project>

这里依赖的 spring-boot-starter-data-elasticsearch 版本是 1.5.1.RELEASE，对应的 spring-data-elasticsearch 版本是 2.1.0.RELEASE。对应官方文档： [http://docs.spring.io/spring-d ... html/][http_docs.spring.io_spring-d ... html] 。后面数据操作层都是通过该 spring-data-elasticsearch 提供的接口实现。  
  
2. application.properties 配置 ES 地址

# ES
    spring.data.elasticsearch.repositories.enabled = true
    spring.data.elasticsearch.cluster-nodes = 127.0.0.1:9300

默认 9300 是 Java 客户端的端口。9200 是支持 Restful HTTP 的接口。  
更多配置：  
 spring.data.elasticsearch.cluster-name Elasticsearch    集群名。(默认值: elasticsearch)  
 spring.data.elasticsearch.cluster-nodes    集群节点地址列表，用逗号分隔。如果没有指定，就启动一个客户端节点。  
 spring.data.elasticsearch.propertie     用来配置客户端的额外属性。  
 spring.data.elasticsearch.repositories.enabled     开启 Elasticsearch 仓库。(默认值:true。)  
   
  
3. ES 数据操作层

/** * ES 操作类 * <p> * Created by bysocket on 17/05/2017. */
    public interface CityRepository extends ElasticsearchRepository<City, Long> {
    }

接口只要继承 ElasticsearchRepository 接口类即可，具体使用的是该接口的方法：

Iterable<T> search(QueryBuilder query);
        Page<T> search(QueryBuilder query, Pageable pageable);
        Page<T> search(SearchQuery searchQuery);
        Page<T> searchSimilar(T entity, String[] fields, Pageable pageable);

4. 实体类

/** * 城市实体类 * <p> * Created by bysocket on 03/05/2017. */
    @Document(indexName = "province", type = "city")
    public class City implements Serializable { 
        private static final long serialVersionUID = -1L;
        /** * 城市编号 */
        private Long id;
        /** * 城市名称 */
        private String name;
        /** * 描述 */
        private String description;
        /** * 城市评分 */
        private Integer score;
        public Long getId() {
            return id;
        }
        public void setId(Long id) {
            this.id = id;
        }
        public String getName() {
            return name;
        }
        public void setName(String name) {
            this.name = name;
        }
        public String getDescription() {
            return description;
        }
        public void setDescription(String description) {
            this.description = description;
        }
        public Integer getScore() {
            return score;
        }
        public void setScore(Integer score) {
            this.score = score;
        }
    }

注意  
a. City 属性名不支持驼峰式。  
b. indexName 配置必须是全部小写，不然会出异常。  
org.elasticsearch.indices.InvalidIndexNameException: Invalid index name \[provinceIndex\], must be lowercase  
   
   
5. 城市 ES 业务逻辑实现类  
代码如下：

/** * 城市 ES 业务逻辑实现类 * <p> * Created by bysocket on 20/06/2017. */
    @Service
    public class CityESServiceImpl implements CityService {
        private static final Logger LOGGER = LoggerFactory.getLogger(CityESServiceImpl.class);
        /* 分页参数 */
        Integer PAGE_SIZE = 12;          // 每页数量
        Integer DEFAULT_PAGE_NUMBER = 0; // 默认当前页码
        /* 搜索模式 */
        String SCORE_MODE_SUM = "sum"; // 权重分求和模式
        Float  MIN_SCORE = 10.0F;      // 由于无相关性的分值默认为 1 ，设置权重分最小值为 10
        @Autowired
        CityRepository cityRepository; // ES 操作类
        public Long saveCity(City city) {
            City cityResult = cityRepository.save(city);
            return cityResult.getId();
        }
        @Override
        public List<City> searchCity(Integer pageNumber, Integer pageSize, String searchContent) {
            // 校验分页参数
            if (pageSize == null || pageSize <= 0) {
                pageSize = PAGE_SIZE;
            }
            if (pageNumber == null || pageNumber < DEFAULT_PAGE_NUMBER) {
                pageNumber = DEFAULT_PAGE_NUMBER;
            }
            LOGGER.info("\n searchCity: searchContent [" + searchContent + "] \n ");
            // 构建搜索查询
            SearchQuery searchQuery = getCitySearchQuery(pageNumber,pageSize,searchContent);
            LOGGER.info("\n searchCity: searchContent [" + searchContent + "] \n DSL = \n " + searchQuery.getQuery().toString());
            Page<City> cityPage = cityRepository.search(searchQuery);
            return cityPage.getContent();
        }
        /** * 根据搜索词构造搜索查询语句 * * 代码流程： * - 权重分查询 * - 短语匹配 * - 设置权重分最小值 * - 设置分页参数 * * @param pageNumber 当前页码 * @param pageSize 每页大小 * @param searchContent 搜索内容 * @return */
        private SearchQuery getCitySearchQuery(Integer pageNumber, Integer pageSize,String searchContent) {
            // 短语匹配到的搜索词，求和模式累加权重分
            // 权重分查询 https://www.elastic.co/guide/c ... .html
            // - 短语匹配 https://www.elastic.co/guide/c ... .html
            // - 字段对应权重分设置，可以优化成 enum
            // - 由于无相关性的分值默认为 1 ，设置权重分最小值为 10
            FunctionScoreQueryBuilder functionScoreQueryBuilder = QueryBuilders.functionScoreQuery()
                    .add(QueryBuilders.matchPhraseQuery("name", searchContent),
                    ScoreFunctionBuilders.weightFactorFunction(1000))
                    .add(QueryBuilders.matchPhraseQuery("description", searchContent),
                    ScoreFunctionBuilders.weightFactorFunction(500))
                    .scoreMode(SCORE_MODE_SUM).setMinScore(MIN_SCORE);
            // 分页参数
            Pageable pageable = new PageRequest(pageNumber, pageSize);
            return new NativeSearchQueryBuilder()
                    .withPageable(pageable)
                    .withQuery(functionScoreQueryBuilder).build();
        }
    }

可以看到该过程实现了，短语精准匹配以及匹配到根据字段权重分求和，从而实现按权重搜索查询。代码流程如下:  
\- 权重分查询  
\- 短语匹配  
\- 设置权重分最小值  
\- 设置分页参数  
  
注意：  
\- 字段对应权重分设置，可以优化成 enum  
\- 由于无相关性的分值默认为 1 ，设置权重分最小值为 10  
   
权重分查询文档： [https://www.elastic.co/guide/c ... .html][https_www.elastic.co_guide_c ... .html] 。

短语匹配文档： [https://www.elastic.co/guide/c ... .html][https_www.elastic.co_guide_c ... .html 1]。

具体代码见 GitHub - [https://github.com/JeffLi1993/springboot-learning-example][https_github.com_JeffLi1993_springboot-learning-example]

转载自[https://yq.aliyun.com/articles/109384?spm=a2c4e.11153940.blogcont107393.31.3dba9ae3J2EwIx][https_yq.aliyun.com_articles_109384_spm_a2c4e.11153940.blogcont107393.31.3dba9ae3J2EwIx]

[http_docs.spring.io_spring-d ... html]: http://docs.spring.io/spring-data/elasticsearch/docs/2.1.0.RELEASE/reference/html/
[https_www.elastic.co_guide_c ... .html]: https://www.elastic.co/guide/cn/elasticsearch/guide/current/function-score-query.html
[https_www.elastic.co_guide_c ... .html 1]: https://www.elastic.co/guide/cn/elasticsearch/guide/current/phrase-matching.html
[https_github.com_JeffLi1993_springboot-learning-example]: https://github.com/JeffLi1993/springboot-learning-example
[https_yq.aliyun.com_articles_109384_spm_a2c4e.11153940.blogcont107393.31.3dba9ae3J2EwIx]: https://yq.aliyun.com/articles/109384?spm=a2c4e.11153940.blogcont107393.31.3dba9ae3J2EwIx