Solr搜索引擎(4)中文分词器

素颜马尾好姑娘i 2022-06-07 00:58 323阅读 0赞

## 1、介绍 ##

solr自带的几个分词器对中文支持并不好，所以需要使用第三方分词器对中文进行分词索引。  
推荐的分词器有：ansj和ik，前者的效果更好。

**注:目前发现ansj分词器索引内容大小超过65248字节时，会报异常，目前尚未找到解决办法**

## 2、依赖 ##

ansj\_lucene5\_plug-5.1.1.2.jar  
ansj\_seg-5.1.1.jar  
ik-analyzer-solr5-5.x.jar  
nlp-lang-1.7.2.jar  
[下载链接][Link 1]

## 3、配置 ##

将以上四个jar包复制到solr安装路径下的server/solr-webapp/webapp/WEB-INF/lib/路径下  
修改配置文件server/solr/核心/conf下的managed-schema，添加如下代码

<fieldType name="text_ik" class="solr.TextField">
       <analyzer type="index">
             <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" />
       </analyzer>
       <analyzer type="query">
             <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" />
             
            <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
       </analyzer>
    </fieldType>
    
    
    <fieldType name="text_ansj" class="solr.TextField" positionIncrementGap="100">
      <analyzer type="index">
             <tokenizer class="org.ansj.lucene.util.AnsjTokenizerFactory" isQuery="false" stopwords="/path/to/stopwords.dic"/>
      </analyzer>
      <analyzer type="query">
            <tokenizer class="org.ansj.lucene.util.AnsjTokenizerFactory" stopwords="/path/to/stopwords.dic"/>
      </analyzer>
    </fieldType>

在managed-schema中为索引的字段添加分词器，例如

## 4、测试 ##

![这里写图片描述][20171002085101817]

![这里写图片描述][20171002085115795]

[Link 1]: http://download.csdn.net/download/sz85850597/10005304
[20171002085101817]: /images/20220607/cc25bbea2fda46d98984ad1bc5239e9d.png
[20171002085115795]: /images/20220607/4eee9c236dac45678eb58b07831be499.png