搜索学习基础--倒排索引的过程解读

冷不防 2022-06-06 04:57 410阅读 0赞

#### 下面是两篇文档，我们要对其建立索引 ####

> Doc1: He is a coder,and she is a coder too.  
> Doc2:Json is a doctor,but he was a coder.

#### 第一步：获取关键词keywords ####

##### a:分词（按空格分词）： #####

> Doc1: \[He\] \[is\] \[a\] \[coder\],\[and\] \[she\] \[is\] \[a\] \[coder\] \[too\]  
> Doc2: \[Json\] \[is\] \[a\] \[doctor\] \[he\] \[a\] \[coder\]

##### b:去除 stopwords（无意义的关键词） #####

> Doc1:\[He\] \[a\] \[coder\] \[she\] \[a\] \[coder\]  
> Doc2:\[Json\] \[is\] \[a\] \[doctor\] \[he\] \[a\] \[coder\]

##### c:统一（大小写，时态） #####

> Doc1:\[he\] \[a\] \[coder\] \[she\] \[a\] \[coder\]  
> Doc2:\[json\] \[a\] \[doctor\] \[he\] \[a\] \[coder\]

#### 第二步：建立倒排索引 ####

> //关键词出现的文章

<table> 
 <thead> 
  <tr> 
   <th>keywords</th> 
   <th>doc</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>[he]</td> 
   <td>1,2</td> 
  </tr> 
  <tr> 
   <td>[a]</td> 
   <td>1,2</td> 
  </tr> 
  <tr> 
   <td>[coder]</td> 
   <td>1,2</td> 
  </tr> 
  <tr> 
   <td>[she]</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>[json]</td> 
   <td>2</td> 
  </tr> 
  <tr> 
   <td>[doctor]</td> 
   <td>2</td> 
  </tr> 
 </tbody> 
</table>

> //更好的结构 记录关键词出现的文章，出现频率(对结果排序)，出现位置(用户快速锁定高亮位置)

<table> 
 <thead> 
  <tr> 
   <th>keywords</th> 
   <th>doc[times]</th> 
   <th>doc[index]</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>[he]</td> 
   <td>1[1],2[1]</td> 
   <td>1[1],2[4]</td> 
  </tr> 
  <tr> 
   <td>[a]</td> 
   <td>1[2],2[2]</td> 
   <td>1[2,5],2[2,5]</td> 
  </tr> 
  <tr> 
   <td>[coder]</td> 
   <td>1[2],2[1]</td> 
   <td>1[3,6],2[6]</td> 
  </tr> 
  <tr> 
   <td>[she]</td> 
   <td>1[1]</td> 
   <td>1[4]</td> 
  </tr> 
  <tr> 
   <td>[json]</td> 
   <td>2[1]</td> 
   <td>2[1]</td> 
  </tr> 
  <tr> 
   <td>[doctor]</td> 
   <td>2[1]</td> 
   <td>2[3]</td> 
  </tr> 
 </tbody> 
</table>

#### 第三步：搜索 ####

> a.输入搜索语句： doctor and coder  
> b.获取a中的关键词，得到\[doctor\] \[coder\]  
> c.从索引表中得到：\[coder\]在Doc1中出现2次，在Doc2中出现1次，\[doctor\] 在Doc2中出现1次。  
> d.由此可以得到Doc2因为关联两个关键词，关联性更高(如果关联关键词数量一次，则可以根据出现频率排序)，搜索出的结果顺序为：Doc2,Doc1

### 代码实现 ###

[Java代码模拟倒排索引过程][Java]

[Java]: http://blog.csdn.net/qq_18860653/article/details/78406919