【Elasticsearch6.5】Rest Client方式集成SpringBoot应用

逃离我推掉我的手 2022-12-05 01:40 159阅读 0赞

# 引言 #

#####  在上一篇博客中，我们对Elasticsearch操作索引API有了简单应用，并且在Head插件下看到了存储在ES中的索引数据结构。本篇文章将实践如何在SpringBoot应用中去集成Elasticsearch，并且通过代码去完成索引的一系列操作。 #####

# 集成方式 #

#####  Spring Boot应用集成Elasticsearch有多种方式可以选择，比如可以直接引用SpringBoot官方提供的starter，然后通过hibernate JPA规范，dao层继承ElasticsearchRepository，就相当于对索引数据库操作了。这种方式优点在于容易集成，简单方便，但缺点是不灵活，我们只能使用封装好的方法，对于一些Elasticsearch复杂查询，实现不了。 #####

#####  所以，一般想要自行操作Elasticsearch的一些API，我们最好使用的集成方式是直接使用Elasticsearch提供的Client进行操作。 #####

#####  Elasticsearch提供的客户端对接方式也分为REST API和Transport两种。REST API使用的是HTTP连接方式，端口号是9200，提供的是REST风格的API；Transport方式使用的是TCP连接方式，端口号是9300，这种方式是直接连接ES的节点。随着ES的版本不断更新，ES7.0将会关闭Transport，8.0将完全删除，取而代之的是High Level REST Client。 #####

#####  官方推荐使用的也是Rest Client方式进行连接集成。 #####

# 集成环境 #

#####  • Spring Boot : 2.1.3.RELEASE #####

#####  • Elastic Search Client：6.5.4 #####

# 集成步骤 #

##### 1. 引入Maven依赖 #####

<dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <optional>true</optional>
    </dependency>
    
    <dependency>
        <groupId>org.apache.commons</groupId>
        <artifactId>commons-lang3</artifactId>
        <version>3.8.1</version>
    </dependency>
    
    <dependency>
        <groupId>org.elasticsearch.client</groupId>
        <artifactId>elasticsearch-rest-client</artifactId>
        <version>6.5.4</version>
    </dependency>
    
    <dependency>
        <groupId>org.elasticsearch.client</groupId>
        <artifactId>elasticsearch-rest-high-level-client</artifactId>
        <version>6.5.4</version>
    </dependency>
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
        <version>1.2.69</version>
    </dependency>

##### 2. 实例化Rest Client #####

private RestHighLevelClient client;
    /** * Java High Level REST Client 初始化 */
    public EsClient() { 
        client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("192.168.17.146", 9200, "http")));
    }

##### 下面只展示一些操作索引的工具类核心代码，一些参数的构造都在Service层进行处理，完整的项目实例代码，可以通过文章最后的github链接地址下载。 #####

##### 3. 新增索引和文档 #####

/** * 新增，修改文档 * * @param indexName 索引 * @param type mapping type * @param id 文档id * @param jsonStr 文档数据 */
    public IndexResponse addData(String indexName, String type, String id, String jsonStr) { 
        IndexResponse indexResponse = null;
        try { 
            // 1、创建索引请求 //索引 // mapping type //文档id
            IndexRequest request = new IndexRequest(indexName, type, id);
            // 2、准备文档数据
            // 直接给JSON串
            request.source(jsonStr, XContentType.JSON);
            //4、发送请求
            try { 
                // 同步方式
                indexResponse = client.index(request, RequestOptions.DEFAULT);
            } catch (ElasticsearchException e) { 
                // 捕获，并处理异常
                //判断是否版本冲突、create但文档已存在冲突
                if (e.status() == RestStatus.CONFLICT) { 
                    log.error("[ESUtil.addData] [error] [conflict]", e);
                }
            }
            //5、处理响应
            if (indexResponse != null) { 
                String index1 = indexResponse.getIndex();
                String type1 = indexResponse.getType();
                String id1 = indexResponse.getId();
                long version1 = indexResponse.getVersion();
                if (indexResponse.getResult() == DocWriteResponse.Result.CREATED) { 
                    log.info("[ESUtil.addData] [end] [create success] [result is {}]", index1 + type1 + id1 + version1);
                } else if (indexResponse.getResult() == DocWriteResponse.Result.UPDATED) { 
                    log.info("[ESUtil.addData] [end] [update success]");
                }
                // 分片处理信息
                ReplicationResponse.ShardInfo shardInfo = indexResponse.getShardInfo();
                if (shardInfo.getTotal() != shardInfo.getSuccessful()) { 
                    log.info("[ESUtil.addData] [start] [sharding info]");
                }
                // 如果有分片副本失败，可以获得失败原因信息
                if (shardInfo.getFailed() > 0) { 
                    for (ReplicationResponse.ShardInfo.Failure failure : shardInfo.getFailures()) { 
                        String reason = failure.reason();
                        log.error("[ESUtil.addData] [error] [replicate failure, reason is {}]", reason);
                    }
                }
                return indexResponse;
            }
        } catch (Exception e) { 
            log.error("[ESUtil.addData] [error] [fail to add data]", e);
        }
        return indexResponse;
    }

##### 4. 查询指定索引的所有数据 #####

/** * 查询指定文档数据 * * @param request * @return */
    public GetResponse queryOne(GetRequest request) { 
        GetResponse documentFields = null;
        try { 
            documentFields = client.get(request, RequestOptions.DEFAULT);
        } catch (IOException e) { 
            log.error("[ESUtil.queryOne] [error] [fail to query one, param is {}]", JSON.toJSON(request), e);
        }
        return documentFields;
    }

##### 5. 条件查询索引数据 #####

/** * 条件查询数据 * * @param request * @return */
    public Map<String, Object> queryAll(SearchRequest request) { 
        Map<String, Object> resultMap = new HashMap<>(10);
        SearchResponse response;
        try { 
            response = client.search(request, RequestOptions.DEFAULT);
            //从查询结果中获得想要数据
            SearchHits searchHits = response.getHits();
            //获得查询结果条数
            long total = searchHits.getTotalHits();
            resultMap.put("total", total);
            resultMap.put("tookInMillis", response.getTook().getMillis());
            //获得查询结果并转换为map
            if (total > 0) { 
                SearchHit[] searchHitsArr = searchHits.getHits();
                List<Map<String, Object>> resultMapList = convertResultToObject(searchHitsArr);
                resultMap.put("list", resultMapList);
            }
        } catch (IOException e) { 
            log.error("[ESUtil.queryAll] [error] [fail to query, param is {}]", JSON.toJSON(request), e);
            return resultMap;
        }
        return resultMap;
    }
    
    //下面的方法是将ES查询的结果转化为对应的实体属性
    /** * ES 检索结果格式转换 * * @param searchHitsArr * @return */
    private List<Map<String, Object>> convertResultToObject(SearchHit[] searchHitsArr) { 
        List<Map<String, Object>> resultMapList = new ArrayList<>(searchHitsArr.length);
        for (SearchHit documentFields : searchHitsArr) { 
            Map<String, Object> map = documentFields.getSourceAsMap();
            resultMapList.add(map);
        }
        return resultMapList;
    }

# 总结 #

##### 本篇文章的示例代码已上传至github：[SpringBoot-elasticsearch6.5][]， 只需要将EsClient中的ES服务的ip改成自己可用的便可以操作索引，便于前期学习和熟悉。在生产项目中，还需要做进一步优化，读取节点配置、设置请求头、超时时间等，后续更新。 #####

[SpringBoot-elasticsearch6.5]: https://github.com/huzhiting/springboot-elasticsearch6.5