机器学习之排序学习笔记总结

梦里梦外; 2022-10-30 02:26 130阅读 0赞

# 1.简介 #

排序学习Learning to rank（LTR）或者机器学习排序machine-learned ranking（MLR）是应用机器学习技术，来构造信息检索系统的排序模型

训练数据包含每个列表中的项目的某种偏序关系的项目列表。这种偏序可以按照数值或者序数分值或者二元判断来确定。

排序模型的目标：学习训练集中的排序方式对未来的数据进行排序

排序学习实际上是一类监督学习问题，训练数据 包含查询和文档相关性的分数：

*  查询集合： Q = \{ q 1 , ⋯   , q m \} Q=\\\{q\_1,\\cdots,q\_m\\\} Q=\{ q1,⋯,qm\}
 *  文档集合： D D D
 *  与第 i i i个查询相关的文档 D i = \{ d i , 1 , ⋯   , d i , n i \} D\_i=\\\{d\_\{i,1\},\\cdots,d\_\{i,n\_i\}\\\} Di=\{ di,1,⋯,di,ni\}
 *  相关性分数的向量: y i = \{ y i , 1 , ⋯   , y i , n i \} y\_i=\\\{y\_\{i,1\},\\cdots,y\_\{i,n\_i\}\\\} yi=\{ yi,1,⋯,yi,ni\}对每个与查询 i i i相关的文档  
    目标：给定新的查询 q q q，输出排好序的相关文档的列表

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70]

# 2.常用排序学习的分类 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 2]

## 2.1 PointWise排序学习 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 3]  
Pointwise的优点：直接支持已有的回归或者分类的理论和算法  
Pointwise的缺点：文档的信息次序并不能在训练时使用，因为算法接受单个文档作为输入。分类角度计算假设相关度是查询无关的，只要 ( q i , d i ) (q\_i,d\_i) (qi,di)的相关度相同，那么他们就被划分到同一个级别中，属于同一类。  
文档次序信息的丢失就导致pointwise方法会在不重要的文档上过度强调，对于预测为同一label级别的文档之间也无法相对排序。

## 2.2 PairWise排序学习 ##

核心思想：对于每个查询的文档排序对应于文档的排列，如果我们知道文档对的相对次序那么最终就能恢复出整个排列

实际上针对文档对可以设计出排序问题的二分类形式。可以使用常用的机器学习方法如Boost、SVM、神经网络等来解决。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 7]

## 2.3 ListWise排序学习 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 9]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 10]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 11]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 12]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70]: /images/20221024/2f1febaf5bd04c689fcfbf9090f4b1bc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 1]: /images/20221024/a341eb0645bb4849aa1c46c470ee0b65.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 2]: /images/20221024/efafc8164b9b4671a62c11ec7bd87420.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 3]: /images/20221024/84c2b07d54f34e678ee6a5b5c0e0ba15.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 4]: /images/20221024/d8b76b04a89f40849b17a20668f364ff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 5]: /images/20221024/b5ed1566faab4e9f9fa75e7da437c86b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 6]: /images/20221024/f7647b26b2184f4bb232b1a711f328b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 7]: /images/20221024/9bb854759b1c4c35a52d82ddd00ecd3a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 8]: /images/20221024/11bd01ac37234ad99329f278eed9340a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 9]: /images/20221024/755eba6a721a4adaab8534d9956c676b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 10]: /images/20221024/61ea6810e59a42b5824c0e552cc1fbcf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 11]: /images/20221024/2aecbc2fb9d7466abcf72e9aed438fb4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlYWxDb2Rlcg_size_16_color_FFFFFF_t_70 12]: /images/20221024/16103713decf4849a857122d58fc5a5b.png