【扬汤止沸，不如釜底抽薪】夜来风雨声，Lucene知多少？

柔光的暖阳◎ 2022-03-06 01:56 151阅读 0赞

我们生活中的数据总体分为两种：结构化数据和非结构化数据。

*  **结构化数据**：指具有固定格式或有限长度的数据，如数据库，元数据等。
 *  **非结构化数据**：指不定长或无固定格式的数据，如邮件，word文档等。

按照数据的分类，搜索也分为两种：

*  **对结构化数据的搜索**：如对数据库的搜索，用 SQL语句。再如对元数据的搜索，如利用  
    windows 搜索对文件名，类型，修改时间进行搜索等。
 *  **对非结构化数据的搜索**：如利用 windows 的搜索也可以搜索文件内容，Linux 下的 grep  
    命令，再如用Google 和百度可以搜索大量内容数据。

对非结构化数据也即对全文数据的搜索主要有两种方法：  
一种是**顺序扫描法(Serial Scanning)**：，比如要找内容包含某一个字符串的文件，就是一个文档一个文档的看，对于每一个文档，从头看到尾，如果此文档包含此字符串，则此文档为我们要找的文件，接着看下一个文件，直到扫描完所有的文件。  
另一种方法是**索引搜索法（Index Searching）**。什么是索引呢？

从非结构化数据中提取出的然后重新组织的信息，我们称之**索引**。

全文检索大体分两个过程，**索引创建(Indexing)和搜索索引(Search)**。  
![索引创建和搜索索引][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjI1NzI1MA_size_16_color_FFFFFF_t_70]  
全文检索就存在三个重要问题：**Index + Indexing + Search**

1.  索引里面究竟存些什么？(**Index**)
2.  如何创建索引？(**Indexing**)
3.  如何对索引进行搜索？(**Search**)

问题1：索引里面究竟存些什么？(**Index**)  
倒排表，字符串到文件的映射（与传统的文件到字符串映射的过程相反）。

问题2：如何创建索引？(**Indexing**)  
参考[这里][Link 1]

1.  有一系列被索引文件
2.  被索引文件经过语法分析和语言处理形成一系列词(Term)。
3.  经过索引创建形成词典和反向索引表。
4.  通过索引存储将索引写入硬盘。

问题3：如何对索引进行搜索？(**Search**)

1.  用户输入查询语句。
2.  对查询语句经过语法分析和语言分析得到一系列词(Term)。
3.  通过语法分析得到一个查询树。
4.  通过索引存储将索引读入到内存。
5.  利用查询树搜索索引，从而得到每个词(Term)的文档链表，对文档链表进行交，差，并得 到结果文档。
6.  将搜索到的结果文档对查询的相关性进行排序。
7.  返回查询结果给用户。

## 墙裂推荐阅读下文 ##

[《Lucene原理与代码分析》][Lucene]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjI1NzI1MA_size_16_color_FFFFFF_t_70]: /images/20220303/45912e622371436090c880e9bfed2499.png
[Link 1]: https://blog.csdn.net/weixin_42257250/article/details/86999040
[Lucene]: http://www.cnblogs.com/forfuture1978/archive/2010/06/13/1757479.html