什么是倒排索引

迷南。 2024-03-17 15:32 61阅读 0赞

### 什么是倒排索引 ###

搜索的核心需求是全文检索，全文检索简单来说就是要在大量文档中找到包含某个单词出现的位置，在传统关系型数据库中，数据检索只能通过 like 来实现，例如需要在酒店数据中查询名称包含公寓的酒店，需要通过如下 sql 实现：

select * from hotel_table where hotel_name like '%公寓%';

这种实现方式实际会存在很多问题：

*  无法使用数据库索引，需要全表扫描，性能差
 *  搜索效果差，只能首尾位模糊匹配，无法实现复杂的搜索需求
 *  无法得到文档与搜索条件的相关性

搜索的核心目标实际上是保证搜索的效果和性能，为了高效的实现全文检索，我们可以通过倒排索引来解决。  
倒排索引是区别于正排索引的概念：

*  正排索引：是以文档对象的唯一 ID 作为索引，以文档内容作为记录的结构。
 *  倒排索引：Inverted index，指的是将文档内容中的单词作为索引，将包含该词的文档 ID 作为记录的结构。

![在这里插入图片描述][68dcd60c58cb43909447f01f6715fa70.png]  
下面通过一个例子来说明下倒排索引的生成过程。  
假设目前有以下两个文档内容：

苏州街维亚大厦 
    桔子酒店苏州街店

其处理步骤如下：  
1、正排索引给每个文档进行编号，作为其唯一的标识。  
![在这里插入图片描述][80a76ce00bfb469bb9f2f9d69aeef1a3.png]  
2、生成倒排索引：  
a.首先要对字段的内容进行分词，分词就是将一段连续的文本按照语义拆分为多个单词，这里两个文档包含的关键词有：苏州街、维亚大厦…  
b.然后![在这里插入图片描述][43f252d89f3d4debb16176b9f40e0d8a.png]  
按照单词来作为索引，对应的文档 id 建立一个链表，就能构成上述的倒排索引结构。

有了倒排索引，能快速、灵活地实现各类搜索需求。整个搜索过程中我们不需要做任何文本的模糊匹配。

例如，如果需要在上述两个文档中查询 苏州街桔子 ，可以通过分词后通过 苏州街 查到 1、2，通过 桔子 查到 2，然后再进行取交取并等操作得到最终结果。  
![在这里插入图片描述][6c5b493972df4a899645957dd5ee5942.png]

[68dcd60c58cb43909447f01f6715fa70.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/0f5567f9173c4fb5b6d43ab3efa126b2.png
[80a76ce00bfb469bb9f2f9d69aeef1a3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/a84b21f69cb241138f9114615da198ed.png
[43f252d89f3d4debb16176b9f40e0d8a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/2093037ee6eb44e7997ef5e8a5e5bf49.png
[6c5b493972df4a899645957dd5ee5942.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/c2df042a63024a758f2f28d6f81d8ccd.png