项目中如何使用solr

秒速五厘米 2022-05-25 00:35 225阅读 0赞

elasticsearch与solr**技术学习，更多知识请访问[https://www.itkc8.com][https_www.itkc8.com]**

之前写过solr的系列文章，包括对官方文档的学习和solrj的使用，但是今天想在项目中使用却发现很难将所有的知识点串联起来。   
[solr系列文章][solr]   
所以今天从头到尾在项目中使用一下solr，记录一下步骤。

# 目的 #

实现一个文章搜索服务

# 第一步 启动solr服务器 #

参考   
[http://blog.csdn.net/frankcheng5143/article/details/52291176][http_blog.csdn.net_frankcheng5143_article_details_52291176]

我是windows，所以命令如下

cd solrHome(solrHome是solr的路径)
    cd bin
    solr.cmd start

*  1
 *  2
 *  3
 *  4

![这里写图片描述][SouthEast]

# 第二步 创建集合（collection/core） #

我们创建一个articles的集合（collection），collection和core是一个概念（后面我都会用collection或集合）

![这里写图片描述][SouthEast 1]

solr.cmd create -c articles

*  1
 *  2

![这里写图片描述][SouthEast 2]

# 第三步 配置中文分词 #

经过第一步和第二步我们已经创建了articles集合，这时候就可以在solr的管理控制台看到创建的articles集合了。

管理控制台地址

[http://127.0.0.1:8983/solr][http_127.0.0.1_8983_solr]

![这里写图片描述][SouthEast 3]

不过不支持中文分词

## 测试是否支持中文分词 ##

在core selector区域选择要测试的集合

![这里写图片描述][SouthEast 4]

测试步骤如下，下图是我之前配置了分词的一个collection，并对“吉林市长春药店”进行了测试。

![这里写图片描述][SouthEast 5]

下图是我们刚刚创建的articles集合对“吉林市长春药店”的测试。

![这里写图片描述][SouthEast 6]

由于我们没有配置中文分词，所以第四步选择字段类型中没有“text\_ik”，我们选择了“text”，它将“吉林市长春药店”分成了七个单独的字符。

## 配置中文分词 ##

## 1 下载资源并放在相应的目录 ##

参考

[solr6.0配置中文分词器IK Analyzer][solr6.0_IK Analyzer]

[Solr6.1配置中文分词][Solr6.1]

[分词资料下载][Link 1]

将解分词资料里的ik-analyzer-solr5-5.x.jar拷贝到你的solr目录下的\\server\\solr-webapp\\webapp\\WEB-INF\\lib目录中去，将IKAnalyzer.cfg.xml，mydict.dic（搜狗的扩展词库），stopword.dic放在你的solr目录下的\\server\\solr-webapp\\webapp\\WEB-INF\\classes目录中去

![这里写图片描述][SouthEast 7]

![这里写图片描述][SouthEast 8]

## 2 修改相应的配置 ##

修改刚才创建的articles集合目录下的managed-schema

![这里写图片描述][SouthEast 9]

将

*  1
 *  2
 *  3
 *  4

添加在

*  1
 *  2

之后

大概在48行的位置后添加

![这里写图片描述][SouthEast 10]

## 3 重新加载articles集合 ##

![这里写图片描述][SouthEast 11]

在重新测试articles的中文分词，我们就会发现在FieldType中多了我们刚才添加的“text\_ik”，而且可以进行中文分词。

![这里写图片描述][SouthEast 12]

这个时候我们的环境基本配置完成。

# 第四步 定义字段类型 #

跟数据库一样，solr也需要定义字段类型，这里我们的检索服务需要支持中文分词，所以字段类型都是第三步我们定义的中文分词类型。

这里使用Schema API来定义字段，其实solr已经帮我们定义了很多东西

> Dynamic field definitions allow using convention over configuration   
> for fields via the specification of patterns to match field names.

我们来对一个文章定义一下它的文章标题name和文章内容content和文章发布时间createTime

public class Article {
        // 文章id
        private String id;
        // 文章分类id
        private String categoryId;
        // 作者id
        private String authorId;
        // 文章标题
        private String name;
        // 文章内容
        private String content;
        // 发布时间
        private Date createTime;
        // 省去 getter setter toString方法
    }

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15

定义的json格式如下

{
        "add-field" : {
            "name" : "name",
            "type" : "text_ik"
        },
        "add-field" : {
            "name" : "content",
            "type" : "text_ik"
        },
        "add-field" : {
            "name" : "createTime",
            "type" : "date"
        }
    }

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14

以POST方式提交到

http://localhost:8983/solr/articles/schema

*  1
 *  2

![这里写图片描述][SouthEast 13]

提交之后我们的name和content就支持中文分词检索了。

# 第五步 建立索引并查询 #

这里用SolrJ

注意最新版的solr需要jdk1.8及以上版本

提供一个SolrJ的工具类

import java.io.IOException;
    
    import org.apache.solr.client.solrj.SolrClient;
    import org.apache.solr.client.solrj.SolrQuery;
    import org.apache.solr.client.solrj.SolrServerException;
    import org.apache.solr.client.solrj.beans.DocumentObjectBinder;
    import org.apache.solr.client.solrj.impl.HttpSolrClient;
    import org.apache.solr.client.solrj.response.QueryResponse;
    import org.apache.solr.common.SolrInputDocument;
    
    /**
     * solr工具类
     * 
     * @author 程高伟
     * @time 2017年5月4日下午2:00:54
     */
    public class SolrUtil {
        private static SolrClient client;
        private static String url;
        static {
            url = "http://localhost:8983/solr/articles";
            client = new HttpSolrClient.Builder(url).build();
        }
    
        /**
         * 保存或者更新solr数据
         * 
         * @param res
         */
        public static <T> boolean saveSolrResource(T solrEntity) {
    
            DocumentObjectBinder binder = new DocumentObjectBinder();
            SolrInputDocument doc = binder.toSolrInputDocument(solrEntity);
            try {
                client.add(doc);
                client.commit();
            } catch (Exception e) {
                e.printStackTrace();
                return false;
            }
            return true;
        }
    
        /**
         * 删除solr 数据
         * 
         * @param id
         */
        public static boolean removeSolrData(String id) {
            try {
                client.deleteById(id);
                client.commit();
            } catch (Exception e) {
                e.printStackTrace();
                return false;
            }
            return true;
        }
         /**
         * 查询
         * 
         * @param keywords
         */
        public static QueryResponse query(String keywords) throws SolrServerException, IOException {
            SolrQuery query = new SolrQuery();
            query.setQuery(keywords);
            QueryResponse rsp = client.query(query);
            return rsp;
        }
    
    }

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17
 *  18
 *  19
 *  20
 *  21
 *  22
 *  23
 *  24
 *  25
 *  26
 *  27
 *  28
 *  29
 *  30
 *  31
 *  32
 *  33
 *  34
 *  35
 *  36
 *  37
 *  38
 *  39
 *  40
 *  41
 *  42
 *  43
 *  44
 *  45
 *  46
 *  47
 *  48
 *  49
 *  50
 *  51
 *  52
 *  53
 *  54
 *  55
 *  56
 *  57
 *  58
 *  59
 *  60
 *  61
 *  62
 *  63
 *  64
 *  65
 *  66
 *  67
 *  68
 *  69
 *  70
 *  71
 *  72
 *  73

这里首先要在Article实体的字段上加上solr的注解

public class Article {
        // 文章id
        @Field
        private String id;
        // 文章分类id
        private String categoryId;
        // 作者id
        private String authorId;
        // 文章标题
        @Field
        private String name;
        // 文章内容
        @Field
        private String content;
        // 发布时间
        @Field
        private Date createTime;
        // 省去 getter setter toString方法
    }

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17
 *  18
 *  19

然后我们调用SolrUtil的saveSolrResource插入几条数据

Article article = new Article();
        article.setId(UUIDGenerator.getUUID());
        article.setName("solr测试1");
        article.setContent("吉林市长春药店");
        article.setCreateTime(new Date());
        SolrUtil.saveSolrResource(article);
        try {
            QueryResponse respone = SolrUtil.query("药店");
            List<Article> articleList = respone.getBeans(Article.class);
            System.out.println(articleList);
        } catch (SolrServerException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15

![这里写图片描述][SouthEast 14]

## 高亮显示 ##

参考

[Solr6.4.2查询&高亮][Solr6.4.2]

首先需要高亮显示的字段在manage-schema中指定的field中的属性store设置为true后。

我们在第四步中的add-field没有设置store

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14

在控制台看managed-schema 结果如下

![这里写图片描述][SouthEast 15]

所以先把name和content删掉

删掉方法

提交下面的json

{
        "delete-field" : {
            "name" : "name"
        },
        "delete-field" : {
            "name" : "content"
        }
    }

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8

以POST方式提交到

http://localhost:8983/solr/articles/schema

*  1
 *  2

![这里写图片描述][SouthEast 16]

重新创建一下name和content

{
        "add-field" : {
            "name" : "name",
            "type" : "text_ik",
            "stored" : "true"
        },
        "add-field" : {
            "name" : "content",
            "type" : "text_ik",
            "stored" : "true"
        }
    }

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12

以POST方式提交到

http://localhost:8983/solr/articles/schema

*  1
 *  2

这个时候name和content已经重建了

![这里写图片描述][SouthEast 17]

## 控制台的高亮 ##

![这里写图片描述][SouthEast 18]

勾选了hl

就可以高亮显示了

hl.fl （指定要高亮显示的字段，用空格或逗号隔开的字段列表，要启用某个字段的highlight功能，就得保证该字段在schema中是stored。）

> Specifies a list of fields to highlight. Accepts a comma- or   
> space-delimited list of fields for which Solr should generate highlighted   
> snippets. A wildcard of ’ ’ (asterisk) can be used to match field globs, \*   
> such as ‘text\_\*’ or even ‘\*’ to highlight on all fields where highlighting is   
> possible. When using ‘\*’, consider adding hl.requireFieldMatch=   
> true

hl.simple.pre（高亮前缀）   
hl.simple.post（高亮后缀）

会将高亮字段以前后缀包围，这里用红色字体

在高亮是查询必须指定字段

不指定查询字段

![这里写图片描述][SouthEast 19]

指定查询字段

![这里写图片描述][SouthEast 20]

高亮查询的java代码

来自[Solr6.4.2查询&高亮][Solr6.4.2]

public static void queryHighlight(String keywords) throws SolrServerException, IOException {
            SolrQuery solrQuery = new SolrQuery();
            solrQuery.setQuery("name:" + keywords + "or content:" + keywords); // 设置查询关键字
            solrQuery.setHighlight(true); // 开启高亮
            solrQuery.addHighlightField("name"); // 高亮字段
            solrQuery.addHighlightField("content"); // 高亮字段
            solrQuery.setHighlightSimplePre("<font color='red'>"); // 高亮单词的前缀
            solrQuery.setHighlightSimplePost("</font>"); // 高亮单词的后缀
            /**
             * hl.snippets
             * hl.snippets参数是返回高亮摘要的段数，因为我们的文本一般都比较长，含有搜索关键字的地方有多处，如果hl.snippets的值大于1的话，
             * 会返回多个摘要信息，即文本中含有关键字的几段话，默认值为1，返回含关键字最多的一段描述。solr会对多个段进行排序。
             * hl.fragsize
             * hl.fragsize参数是摘要信息的长度。默认值是100，这个长度是出现关键字的位置向前移6个字符，再往后100个字符，取这一段文本。
             */
            solrQuery.setHighlightFragsize(15);
    
            QueryResponse query = client.query(solrQuery);
            SolrDocumentList results = query.getResults();
            NamedList<Object> response = query.getResponse();
            NamedList<?> highlighting = (NamedList<?>) response.get("highlighting");
            for (int i = 0; i < highlighting.size(); i++) {
                System.out.println(highlighting.getName(i) + "：" + highlighting.getVal(i));
            }
            for (SolrDocument result : results) {
                System.out.println(result.toString());
            }
        }

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17
 *  18
 *  19
 *  20
 *  21
 *  22
 *  23
 *  24
 *  25
 *  26
 *  27
 *  28

![这里写图片描述][SouthEast 21]

# 参考文献 #

> [Solr官方文档6.5][Solr_6.5]
> 
> [Solr系列文章][Solr]
> 
> [Solr6.4.2查询&高亮][Solr6.4.2]
> 
> elasticsearch与solr**技术学习，更多知识请访问[https://www.itkc8.com][https_www.itkc8.com]**

[https_www.itkc8.com]: https://www.itkc8.com/
[solr]: http://blog.csdn.net/column/details/14165.html
[http_blog.csdn.net_frankcheng5143_article_details_52291176]: http://blog.csdn.net/frankcheng5143/article/details/52291176
[SouthEast]: /images/20220525/6e2109fdb3464dcba7fc8956e5d9ea17.png
[SouthEast 1]: /images/20220525/a04ae735f59a424991882c23caeff5fd.png
[SouthEast 2]: /images/20220525/04e4785e485b4ba590c2ec1eccb1e76b.png
[http_127.0.0.1_8983_solr]: http://127.0.0.1:8983/solr
[SouthEast 3]: /images/20220525/8e02980ff56c4366bda9005d6bb19ae9.png
[SouthEast 4]: /images/20220525/cd7f5006e40d408883262d5608fed758.png
[SouthEast 5]: /images/20220525/764133e8483f4b2197c1938f2bbbf4c2.png
[SouthEast 6]: /images/20220525/848ea6eaaf584943b419c1f804b90389.png
[solr6.0_IK Analyzer]: http://blog.csdn.net/linzhiqiang0316/article/details/51554217
[Solr6.1]: http://blog.csdn.net/frankcheng5143/article/details/52292897
[Link 1]: http://download.csdn.net/detail/frankcheng5143/9833099
[SouthEast 7]: /images/20220525/3741cdf556c54bb3b9bedb61c3e367f1.png
[SouthEast 8]: /images/20220525/3ecf8faaf8924f7d8409fcdf59894c8a.png
[SouthEast 9]: /images/20220525/49d7cc3c069c466288b5609ec24074a8.png
[SouthEast 10]: /images/20220525/dd85d9d097ef42a3bfdbfccd3c70b76e.png
[SouthEast 11]: /images/20220525/e3eed84d6f994ed1a6d47e3727372462.png
[SouthEast 12]: /images/20220525/0179080dd3bf42d691beda6932e92538.png
[SouthEast 13]: /images/20220525/3fdd975418d84e7f90bbc63307015059.png
[SouthEast 14]: /images/20220525/c23baa6955e04a26918c5b5447b96dbf.png
[Solr6.4.2]: http://www.jianshu.com/p/cbb938c62e0e#
[SouthEast 15]: /images/20220525/507df01fba234e8f90b1e585888b9ccb.png
[SouthEast 16]: /images/20220525/06c9ecdddac444d797349856e62951d7.png
[SouthEast 17]: /images/20220525/079d9fc6de1e494fa30c8749e5b59525.png
[SouthEast 18]: /images/20220525/7c4f62fffe504b98aeadfb9f5e614d49.png
[SouthEast 19]: /images/20220525/610ab57eddab4e468663789cef0fd93d.png
[SouthEast 20]: /images/20220525/7b9cf9c0c3b84f389333f3e9cfff5c08.png
[SouthEast 21]: /images/20220525/d396e66d26a8456d84e32c514773b07e.png
[Solr_6.5]: http://mirror.bit.edu.cn/apache/lucene/solr/ref-guide/apache-solr-ref-guide-6.5.pdf
[Solr]: http://blog.csdn.net/frankcheng5143/article/category/6056786