Solr之分词器、过滤器与分析器

素颜马尾好姑娘i 2021-09-29 02:32 350阅读 0赞

下面来记录并分享下solr的分词器、过滤器、分析器器的用法：

一、分词器  
可通过schema.xml文件自定义分词器。  
自定义分词器，需要自己写一个factory，它必须是BaseTokenizerFactory的子类，例如：

public class ZerTest extends BaseTokenizerFactory{
    	... ...
    }

二、过滤器  
对于一个document进行索引时，其中的每个field中的数据都会经历分析，分析就是组合分词和过滤，最终将一句话分成单个的单词，去掉句子中的空白符号，大写转小写，复数转单数，去掉多余的词，进行同义词代换等。  
自定义过滤器，需要自己写一个factory，它必须是BaseTokenFilterFactory的子类，例如：

public class FilterTest extends BaseTokenFilterFactory{
    	... ...
    }

三、分析器  
分析器包括分析器和过滤器两部分。分词功能将句子分成单个的词元token，过滤器就是对词元进行过滤。  
schema.xml文件允许两种方式修改文本被分析的方式，通常只有field类型为solr.TextField的field的内容允许定制分析器。  
1）方法一：  
使用任何org.apache.lucene.analysis.Analyzer的子类进行设定：

2）方法二：  
指定一个TokenizerFactory,后面跟一系列的TokenFilterFactories（它们按照所列的顺序发生作用）。Facotries被用来创建分词器和过滤器。它们用于分词器和过滤器的准备配置。

PS：对于org.apache.solr.analysis.*包下的类，仅仅通过solr.*就可以进行指定
    <analyzer type="index">
    	<tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" isMaxWordLength="false"/>
    </analyzer>
    <analyzer type="query">
    	<tokenizer class="org.wltea.analyzer.solr.IkTokenizerFactory" isMaxWordLength="true"/>
    </analyzer>