solr简介和使用

末蓝、 2022-06-15 12:09 234阅读 0赞

## 一、搜索功能的流行方案 ##

由于搜索引擎功能在门户社区中对提高用户体验有着重在门户社区中涉及大量需要搜索引擎的功能需求，目前在实现搜索引擎的方案上有集中方案可供选择：  
1、基于Lucene自己进行封装实现站内搜索。工作量及扩展性都较大，不采用。  
2、调用Google、Baidu的API实现站内搜索。同第三方搜索引擎绑定太死，无法满足后期业务扩展需要，暂时不采用。  
3、 基于Compass+Lucene实现站内搜索。适合于对数据库驱动的应用数据进行索引，尤其是替代传统的like ‘%expression%’来实现对varchar或clob等字段的索引，对于实现站内搜索是一种值得采纳的方案。但在分布式处理、接口封装上尚需要自己进行一定程度的封装，暂时不采用。  
4、基于Solr实现站内搜索。封装及扩展性较好，提供了较为完备的解决方案，因此在门户社区中采用此方案，后期加入Compass方案。

## 二、Solr简介和安装使用 ##

### 1、简介 ###

Solr是一个基于Lucene的Java搜索引擎服务器。Solr 提供了层面搜索、命中醒目显示并且支持多种输出格式（包括 XML/XSLT 和 JSON 格式）。它易于安装和配置，而且附带了一个基于 HTTP 的管理界面。Solr已经在众多大型的网站中使用，较为成熟和稳定。Solr 包装并扩展了 Lucene，所以Solr的基本上沿用了Lucene的相关术语。更重要的是，Solr 创建的索引与 Lucene 搜索引擎库完全兼容。通过对Solr 进行适当的配置，某些情况下可能需要进行编码，Solr 可以阅读和使用构建到其他 Lucene 应用程序中的索引。此外，很多 Lucene 工具（如Nutch、 Luke）也可以使用Solr 创建的索引。

### 2、Solr4.10安装 ###

*  JDK要求

Solr 4.10 要求JDK版本必须是1.7或更高。

*  下载

下载地址： [http://www.apache.org/dyn/closer.cgi/lucene/solr/][http_www.apache.org_dyn_closer.cgi_lucene_solr]

下载得到zip压缩包，下载的版本为4.10.2. 文件大小148MB左右。

*  安装

1、 将solr-4.10.2.zip文件拷贝到E盘；（或者其他盘都可以，只要目录中不要出现中文就行。）  
2、 解压solr-4.10.2.zip文件，得到solr-4.10.2目录。  
3、运行cmd，执行命令进入C:\\solr-4.10.2\\example  
4、 执行命令：java -jar start.jar  
5、 打开浏览器，输入地址：[http://localhost:8983/solr/][http_localhost_8983_solr]，界面如下：  
![这里写图片描述][20170602153351934]

至此，Solr已经安装成功。

### 3、Solr的简单使用 ###

*  添加索引数据

服务启动后，目前你看到的界面没有任何数据，你可以通过POSTing命令向Solr中添加（更新）文档，删除文档，在exampledocs目录包含一些示例文件，运行命令：

java -jar post.jar solr.xml monitor.xml

上面的命令是向solr添加了两份文档，打开这两个文件看看里面是什么内容，solr.xml里面的内容是：

<add>
    <doc>
      <field name="id">SOLR1000</field>
      <field name="name">Solr, the Enterprise Search Server</field>
      <field name="manu">Apache Software Foundation</field>
      <field name="cat">software</field>
      <field name="cat">search</field>
      <field name="features">Advanced Full-Text Search Capabilities using Lucene</field>
      <field name="features">Optimized for High Volume Web Traffic</field>
      <field name="features">Standards Based Open Interfaces - XML and HTTP</field>
      <field name="features">Comprehensive HTML Administration Interfaces</field>
      <field name="features">Scalability - Efficient Replication to other Solr Search Servers</field>
      <field name="features">Flexible and Adaptable with XML configuration and Schema</field>
      <field name="features">Good unicode support: héllo (hello with an accent over the e)</field>
      <field name="price">0</field>
      <field name="popularity">10</field>
      <field name="inStock">true</field>
      <field name="incubationdate_dt">2006-01-17T00:00:00.000Z</field>
    </doc>
    </add>

表示向索引中添加一个文档，文档就是用来搜索的数据源，现在就可以通过管理界面搜索关键字”solr”，具体步骤是：  
点击页面下的Execute Query按钮后右侧就会显示查询结果，这个结果就是刚才导入进去的solr.xml的json格式的展示结果。solr支持丰富的查询语法，比如：现在想搜索字段name里面的关键字”Search”就可以用语法name:search，当然如果你搜索name:xxx就没有返回结果了，因为文档中没有这样的内容。

*  数据导入

导入数据到Solr的方式也是多种多样的：  
1、可以使用DIH(DataImportHandler)从数据库导入数据  
2、支持CSV文件导入，因此Excel数据也能轻松导入  
3、支持JSON格式文档  
4、二进制文档比如：Word、PDF  
5、还能以编程的方式来自定义导入

*  更新数据

如果同一份文档solr.xml重复导入会出现什么情况呢？实际上solr会根据文档的字段id来唯一标识文档，如果导入的文档的id已经存在solr中，那么这份文档就被最新导入的同id的文档自动替换。你可以自己尝试试验一下，观察替换前后管理界面的几个参数：Num Docs，Max Doc，Deleted Docs的变化。  
1、numDocs：当前系统中的文档数量，它有可能大于xml文件个数，因为一个xml文件可能有多个doc标签。  
2、maxDoc：maxDoc有可能比numDocs的值要大，比如重复post同一份文件后，maxDoc值就增大了。  
3、deletedDocs：重复post的文件会替换掉老的文档，同时deltedDocs的值也会加1，不过这只是逻辑上的删除，并没有真正从索引中移除掉

*  删除数据

通过id删除指定的文档，或者通过一个查询来删除匹配的文档

java -Ddata=args -jar post.jar "<delete><id>SOLR1000</id></delete>"
    java -Ddata=args -jar post.jar "<delete><query>name:DDR</query></delete>"

此时solr.xml文档从索引中删除了，再次搜”solr”时不再返回结果。当然solr也有数据库中的事务，执行删除命令的时候事务自动提交了，文档就会立即从索引中删除。你也可以把commit设置为false，手动提交事务。

java -Ddata=args  -Dcommit=false -jar post.jar "<delete><id>3007WFP</id></delete>"

执行完上面的命令时文档并没有真正删除，还是可以继续搜索相关结果，最后可以通过命令：

java -jar post.jar -

提交事务，文档就彻底删除了。

*  删除所有数据：

http://localhost:8983/solr/collection1/update?stream.body=<delete><query>*:*</query></delete>&commit=true

*  删除指定数据

http://localhost:8983/solr/collection1/update?stream.body=<delete><query>title:abc</query></delete>&commit=true

*  多条件删除

http://localhost:8983/solr/collection1/update?stream.body=<delete><query>title:abc AND name:zhang</query></delete>&commit=true

*  查询数据

查询数据都是通过HTTP的GET请求获取的，搜索关键字用参数q指定，另外还可以指定很多可选的参数来控制信息的返回，例如：用fl指定返回的字段，比如f1=name，那么返回的数据就只包括name字段的内容

http://localhost:8983/solr/collection1/select?q=solr&fl=name&wt=json&indent=true

*  排序

Solr提供排序的功能，通过参数sort来指定，它支持正序、倒序，或者多个字段排序

q=video&sort=price desc
    q=video&sort=price asc
    q=video&sort=inStock asc, price desc

默认条件下，Solr根据socre 倒序排列，socre是一条搜索记录根据相关度计算出来的一个分数。

*  高亮

网页搜索中，为了突出搜索结果，可能会对匹配的关键字高亮出来，Solr提供了很好的支持，只要指定参数：

hl=true #开启高亮功能
    hl.fl=name #指定需要高亮的字段

*  文本分析

文本字段通过把文本分割成单词以及运用各种转换方法（如：小写转换、复数移除、词干提取）后被索引，schema.xml文件中定义了字段在索引中，这些字段将作用于其中.  
默认情况下搜索”power-shot”是不能匹配”powershot”的，通过修改schema.xml文件(solr/example/solr/collection1/conf目录)，把features和text字段替换成”text\_en\_splitting”类型，就能索引到了。

修改完后重启solr，然后重新导入文档，现在就可以匹配了。

## 三、Solr相关配置简介 ##

### 1、schema.xml ###

schema.xml这个配置文件可以在你下载solr包的安装解压目录的\\solr\\example\\solr\\collection1\\conf中找到，它就是solr模式关联的文件。

#### 1.1、fieldtype ####

fieldtype节点主要用来定义数据类型。

name指定的是节点定义的名称；  
class指向org.apache.solr.analysis中定义的类型名称；  
fieldtype还可以自己定义当前类型建立索引和查询数据的时候使用的查询分析器。  
tokenizer指定分词器；  
filter指定过滤器。

positionIncrementGap：可选属性，定义在同一个文档中此类型数据的空白间隔，避免短语匹配错误。  
positionIncrementGap=100 只对 multiValue = true 的fieldType有意义。  
StrField类型不被分析，而是被逐字地索引/存储 。  
solr.TextField 允许用户通过分析器来定制索引和查询，分析器包括一个分词器（tokenizer）和多个过滤器（filter）。

#### 2.2、field ####

field节点指定建立索引和查询数据的字段。  
name代表数据字段名称；  
type代表数据类型，也就是之前定义的fieldtype；  
indexed代表是否被索引；  
stored代表是否被存储；  
multiValued是否有多个值，如果字段可能有多个值，尽可能设为true。  
*version*节点和*root*节点是必须保留的，不能删除。

#### 2.3、copyfield ####

通过这个节点，可以把一个字段的值复制到另一个字段中，也可以把多个字段的值同时复制到另一个字段中，这样搜索的时候都可以根据一个字段来进行搜索。

#### 2.4、dynamicField ####

dynamicField 表示动态字段，可以动态定义一个字段，只要符合规则的字段都可以。

\*\_i只要以\_i结尾的字段都满足这个定义。

#### 2.5、uniquekey ####

uniquekey节点是文档的唯一标示，相当于主键，每次更新，删除的时候都根据这个字段来进行操作。必须填写。

#### 2.6、defaultSearchField ####

defaultSearchField指定搜索的时候默认搜索字段的值。

#### 2.7、solrQueryParser ####

solrQueryParser指定搜索时多个词之间的关系，可以是or,and两种。

#### 2.8、性能优化 ####

1、 将所有只用于搜索的，而不需要作为结果的field（特别是一些比较大的field）的stored设置为false；  
2、 将不需要被用于搜索的，而只是作为结果返回的field的indexed设置为false；  
3、 删除所有不必要的copyField声明为了索引字段的最小化和搜索的效率；  
4、 将所有的 text fields的index都设置成false，然后使用copyField将他们都复制到一个总的 text field上，然后进行搜索。

### 2、solrconfig.xml ###

solrconfig.xml配置文件主要定义了SOLR的一些处理规则，包括索引数据的存放位置，更新，删除，查询的一些规则配置。

#### 1.1、datadir节点 ####

`<dataDir>${solr.data.dir:d:/Server/Solr/data}</dataDir>` 定义了索引数据和日志文件的存放位置

#### 1.2、luceneMatchVersion ####

`<luceneMatchVersion>4.10.1</luceneMatchVersion>` 表示solr底层使用的是lucene4.8

#### 1.3、lib ####

`<lib dir="../../../contrib/extraction/lib"regex=".*\.jar"/>` 表示solr引用包的位置,当dir对应的目录不存在时候，会忽略此属性

#### 1.4、directoryFactory ####

索引存储方案，共有以下存储方案  
1、 solr.StandardDirectoryFactory,这是一个基于文件系统存储目录的工厂，它会试图选择最好的实现基于你当前的操作系统和Java虚拟机版本。  
2、 solr.SimpleFSDirectoryFactory,适用于小型应用程序，不支持大数据和多线程。  
3、 solr.NIOFSDirectoryFactory,适用于多线程环境，但是不适用在windows平台（很慢），是因为JVM还存在bug。  
4、 solr.MMapDirectoryFactory,这个是solr3.1到4.0版本在linux64位系统下默认的实现。它是通过使用虚拟内存和内核特性调用mmap去访问存储在磁盘中的索引文件。它允许lucene或solr直接访问I/O缓存。如果不需要近实时搜索功能，使用此工厂是个不错的方案。  
5、 solr.NRTCachingDirectoryFactory,此工厂设计目的是存储部分索引在内存中，从而加快了近实时搜索的速度。  
6、 solr.RAMDirectoryFactory,这是一个内存存储方案，不能持久化存储，在系统重启或服务器crash时数据会丢失。且不支持索引复制

<directoryFactory class="${solr.directoryFactory:solr.NRTCachingDirectoryFactory}" name="DirectoryFactory">
       <str name="solr.hdfs.home">${solr.hdfs.home:}</str>
       <str name="solr.hdfs.confdir">${solr.hdfs.confdir:}</str>
       <str name="solr.hdfs.blockcache.enabled">${solr.hdfs.blockcache.enabled:true}</str>
       <str name="solr.hdfs.blockcache.global">${solr.hdfs.blockcache.global:true}</str>
    </directoryFactory>

#### 1.5. codecFactory ####

编解码工厂允许使用自定义的编解码器。例如：如果想启动per-field DocValues格式, 可以在solrconfig.xml里面设置SchemaCodecFactory：  
docValuesFormat=”Lucene42”: 这是默认设置，所有数据会被加载到堆内存中。  
docValuesFormat=”Disk”: 这是另外一个实现，将部分数据存储在磁盘上。  
docValuesFormat=”SimpleText”: 文本格式，非常慢，用于学习。

#### 1.6、indexconfig ####

用于设置索引的低级别的属性  
1、

//限制token最大长度  
2、

//IndexWriter等待解锁的最长时间（毫秒）。  
3、

//indexWrite生成索引时使用的最大线程数  
4、

<useCompoundFile>false</useCompoundFile>

//solr默认为false。如果为true,索引文件减少,检索性能降低,追求平衡。  
5、

//缓存  
6、

//同上。两个同时定义时命中较低的那个。  
7、

//合并策略。  
8、

//合并因子,每次合并多少个segments。  
9、

//合并调度器。  
10、

<lockType>${solr.lock.type:native}</lockType>

//锁工厂。  
11、

<unlockOnStartup>false</unlockOnStartup>

//是否启动时先解锁。  
12、

//Lucene loads terms into memory 间隔  
13、

//重新打开,替代先关闭-再打开。  
14、

//提交删除策略,必须实现org.apache.lucene.index.IndexDeletionPolicy　  
15、

<infoStream  file="INFOSTREAM.txt">false</infoStream>

//相当于把创建索引时的日志输出。  
16、

<lockType>${solr.lock.type:native}</lockType>

设置索引库的锁方式，主要有三种：  
1. single：适用于只读的索引库，即索引库是定死的，不会再更改  
2. native：使用本地操作系统的文件锁方式，不能用于多个solr服务共用同一个索引库。Solr3.6 及后期版本使用的默认锁机制。  
3. simple：使用简单的文件锁机制

#### 1.7、updateHandler ####

设置索引库更新日志，默认路径为solr home下面的data/tlog。随着索引库的频繁更新，tlog文件会越来越大，所以建议提交索引时采用硬提交方式，即批量提交。

<autoCommit>
     <maxTime>15000</maxTime>
     <maxDocs>10000</maxDocs>
     <openSearcher>false</openSearcher>
     </autoCommit>

自动硬提交方式:maxTime：设置多长时间提交一次maxDocs：设置达到多少文档提交一次openSearcher：文档提交后是否开启新的searcher,如果false，文档只是提交到index索引库，搜索结果中搜不到此次提交的文档；如果true，既提交到index索引库，也能在搜索结果中搜到此次提交的内容。

<updateHandler class="solr.DirectUpdateHandler2">  
           
        <updateLog>  
          <str name="dir">${solr.ulog.dir:}</str>  
        </updateLog>  
    
          
         <autoCommit>   
           <maxTime>15000</maxTime>   
           <openSearcher>false</openSearcher>   
         </autoCommit>  
    
          
           
    
          
          
          
    
     </updateHandler>

#### 1.8、Query 查询 ####

设置boolean 查询中，最大条件数。在范围搜索或者前缀搜索时，会产生大量的 boolean 条件，如果条件数达到这个数值时，将抛出异常，限制这个条件数，可以防止条件过多查询等待时间过长。

#### 1.9、Request Dispatcher请求转发器 ####

<requestDispatcher handleSelect="false" >
    
          
         <requestParsers enableRemoteStreaming="true"
                         multipartUploadLimitInKB="2048000"
                         formdataUploadLimitInKB="2048"/>
    
         
         <httpCaching never304="true" />
    
         
    
         
       </requestDispatcher>

### 3、加入IK中文分词器 ###

首先将IKAnalyzer-2012-4x.jar拷贝到example\\solr-webapp\\webapp\\WEB-INF\\lib下；然后在schema.xml文件中添加fieldType：

这样Solr就可以进行中文分词了。

## 四、Solr的管理界面功能简介 ##

当我们安装好Solr并启动后，通过[http://localhost:8983/solr/][http_localhost_8983_solr]可以访问到Solr的管理界面。下面简单介绍一下其基本功能。  
![这里写图片描述][20170602164528917]  
上图为安装solr环境的软件的左面截图，首先来看看这幅图的讲解：  
1、Dashboard：就是上面全图就是这个按钮的功能；  
2、Logging：查看日志；  
3、CoreAdmin：添加core用户，这个可重要也可不重要，默认是collection1，这个就是添加一个和collection1具有一样功能的用户，用来检索和查询。点击之后会出现下面的截图：  
![这里写图片描述][20170602164606277]  
补充：  
name：给core随便起个名字；  
instanceDir：core的安装目录，这里就是之前在tomcat/solrhome/目录下创建的core1文件夹；  
dataDir：指定用于存放lucene索引和log日志文件的目录路径，该路径是相对于core根目录(在单core模式下，就直接是相对于solr\_home了)，默认值是当前core目录下的data；  
config：用于指定solrconfig.xml配置文件的文件名，启动时会去core1/config目录下去查找；  
schema：即用来配置你的schema.xml配置文件的文件名的，schema.xml配置文件应该存放在当前core目录下的conf目录下。但是下载的solr里没有这个文件，所以我也不管了；  
属性都填上，然后点击AddCore，就创建完成了。

再看最下面的下拉框：点击之后会出现collection1，点击collection1出现如下截图：  
![这里写图片描述][20170602164644543]  
因为我在这之前添加了一个索引文档，所以我的显示的Num Docs和Max Doc 是有值的，没有安装就是为0；  
就来介绍一下选中core角色后生成的一些按钮功能。  
1、Overview：是浏览你的索引文档。其中包括最后开启时间、文档内存数量、文档最大数量等等一些信息；  
2、Analysis：解析浏览。如下图：  
![这里写图片描述][20170602164757997]  
看左上方的Field Value（Index）：这个是定义你要索引的属性值；  
右上方的Field Value（Query）:这个是根据输入的值，来进行查找；  
底下的Analyse Fieldname / FieldType :就是你要往哪个属性里添加索引的值。  
3、dataImport：就是数据的引进。  
4、FIles、Ping、Pligins/Stats这些不怎么常用，这里就不多详细介绍了。  
5、Query：是根据索引属性查询，效果如下：

![这里写图片描述][20170602164838426]  
下面就介绍一下他们是干嘛的：  
q：查询字符串，必须写，格式为：“索引属性：属性值”，必须遵守这种格式，否则查不出来。

fq：filterquery。使用Filter Query可以充分利用Filter QueryCache，提高检索性能。作用：在q查询符合结果中同时是fq查询符合的，例如：

q=mm&fq=date_time:[20081001 TO20091031]

找关键字mm，并且date\_time是20081001到20091031之间的。

fl：fieldlist。指定返回结果字段。以空格“ ”或逗号“,”分隔。

start：用于分页定义结果起始记录数，默认为0。

rows：用于分页定义结果每页返回记录数，默认为10。

sort：排序，格式:  
`sort=<fieldname>+<desc|asc>[,<field name>+<desc|asc>]…` 。  
示例：

（inStockdesc, price asc）

表示先 “inStock” 降序, 再 “price” 升序，默认相关性降序。

df：默认的查询字段，一般默认指定。

q.op：覆盖schema.xml的defaultOperator（有空格时用”AND”还是用”OR”操作逻辑），一般默认指定。必须大写

wt：writertype。指定查询输出结构格式，默认为“xml”。在solrconfig.xml中定义了查询输出格式：xml、json、Python、ruby、PHP、phps、custom。

qt：querytype，指定查询使用的Query Handler，默认为“standard”。

explainOther：设置当debugQuery=true时，显示其他的查询说明。

defType：设置查询解析器名称。

timeAllowed：设置查询超时时间。

omitHeader：设置是否忽略查询结果返回头信息，默认为“false”。

indent：返回的结果是否缩进，默认关闭，用indent=true|on 开启，一般调试json,php,phps,ruby输出才有必要用这个参数。

version：查询语法的版本，建议不使用它，由服务器指定默认值。

debugQuery：设置返回结果是否显示Debug信息。

[http_www.apache.org_dyn_closer.cgi_lucene_solr]: http://www.apache.org/dyn/closer.cgi/lucene/solr/
[http_localhost_8983_solr]: http://localhost:8983/solr/
[20170602153351934]: /images/20220615/667ba38017464e37a0a4420b6e30f262.png
[20170602164528917]: /images/20220615/c69354934a5e421490ca64a548132b49.png
[20170602164606277]: /images/20220615/ca19c25a9bdf4846a7da118f5c529dbd.png
[20170602164644543]: /images/20220615/d32446eb51544aaa83a3bddc1d1dccd3.png
[20170602164757997]: /images/20220615/a1f0e6126c524b5f8eee1222179a7f07.png
[20170602164838426]: /images/20220615/5469f95751b942c8932075c6a99895e0.png