Listwise View Ranking for Image Cropping论文理解

小灰灰 2023-03-14 10:43 10阅读 0赞

该[论文][Link 1]针对图片裁剪中的排序问题和形变问题提出了解决方案。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70][]

*  object[排序方法][Link 2]

1.  数据(文章或图片)转换为特征向量，作为待排序的对象——object。
2.  pointwise  以单个object作为排序的对象。通过机器学习方法获得针对每个object的分类或回归(排序)模型，当输入新object时，模型的预测结果即为排序结果；
3.  pairwise    以两个object的组合作为排序对象。通过网络学习输入中相关的任意两object组合的排序模型，以此获得结果中不同object的先后顺序；
4.  listwise    将所有object的组合作为排序对象。直接对查询结果的所有object进行排序。
5.  总结：单文档方法将训练集里每一个文档当做一个训练实例，考虑的是全局性，忽略了结果的先后顺序；文档对方法将同一个査询的搜索结果里任意两个文档对作为一个训练实例，考虑的是文档对的先后顺序，忽略了结果中整体的先后顺序；ListWise方法直接考虑整体object，针对Ranking评价指标进行优化。

*  Listwise View Ranking

1.  Plackett-Luce模型 将object[的排序方式转换为单一的概率值][Link 3]。如下所示，式子(1)中s表示所有object的得分，π为排序结果共n个，j和k表示第j个或第k个排序结果，![P\_\{s\}(\\pi )][P_s_pi]表示当前排序的概率值，![s\_\{\\pi \}(j)][s_pi _j]表示第j个排序位置的得分，![\\Phi][Phi]函数为单调递增且值域大于零的函数。    式子(2)表示第j个object为第一个排序结果的概率定义；式子(3)表示第j个object为top1的概率值。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70 1][]

1.  [Plackett-Luce模型示例][Plackett-Luce]，排序结果π和得分结果S\_true的相对顺序一致时，其概率更高些。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70 2][]

1.  将标注的排序方式的概率与预测预测的概率值利用交叉熵计算损失值。

![20200517172022985.jpg][]

*  ROIRefine 结合RoIAlign和RoIWarp两种方式的结果，即先参考RoIAlign池化坐标点的生成方法，采用双线性插值的方法获得浮点数位置的像素值，crop出当前RoI区域；然后参考RoIWarp将roi区域变为固定分辨率的方法，将crop区域利用双线性差值的方法warp为14\*14的大小。最后对插值后的区域进行池化操作。论文中指出，第二次插值为固定大小的区域是为了解决feature map和候选结果的不一致性。   RoIAlign可以移步[这里][Link 4]查看。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70 3][]

参考文献：

1.  [Listwise View Ranking for Image Cropping][Link 1]
2.  [Learning to rank基本算法小结][Link 2]
3.  [Learning to Rank学习笔记--ListwiseRank][Plackett-Luce]
4.  [ROI Align 解析][Link 4]
5.  [Understanding Region of Interest — (RoI Align and RoI Warp)][Understanding Region of Interest _ _RoI Align and RoI Warp]

[Link 1]: https://arxiv.org/pdf/1905.05352.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70]: /images/20230312/e07e04ef17d640578fd73903dbf16973.png
[Link 2]: https://zhuanlan.zhihu.com/p/26539920
[Link 3]: https://blog.csdn.net/eastmount/article/details/43341907
[P_s_pi]: https://private.codecogs.com/gif.latex?P_%7Bs%7D%28%5Cpi%20%29
[s_pi _j]: https://private.codecogs.com/gif.latex?s_%7B%5Cpi%20%7D%28j%29
[Phi]: https://private.codecogs.com/gif.latex?%5CPhi
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70 1]: /images/20230312/f4a2a21924e24c29892321ca06a1bd05.png
[Plackett-Luce]: https://zhuanlan.zhihu.com/p/66514492
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70 2]: /images/20230312/17f546d3457941f3bf8732597b86591b.png
[20200517172022985.jpg]: /images/20230312/3978c06fa9ef46b7a3990371b05d4544.png
[Link 4]: https://blog.csdn.net/hzhj2007/article/details/79476145?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522158970947119195265935060%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=158970947119195265935060&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_v2~rank_v25-2-79476145.nonecase&utm_term=roipooling
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70 3]: /images/20230312/62e7f21434074413ac9cd619811d8f1e.png
[Understanding Region of Interest _ _RoI Align and RoI Warp]: https://towardsdatascience.com/understanding-region-of-interest-part-2-roi-align-and-roi-warp-f795196fc193