EMD loss

缺乏、安全感 2023-03-13 13:16 18阅读 0赞

Earth Mover's Distance ([EMD][])，翻译过来是地球移动距离，又称为推土机距离，是对特征空间中两个多维矩阵中某一维距离的一种度量。

The Earth Mover's Distance (EMD) is a method to evaluate dissimilarity between two multi-dimensional distributions in some feature space where a distance measure between single features, which we call the ground distance is given. The EMD ``lifts'' this distance from individual features to full distributions.

*  先对该损失针对的生活场景进行描述。

1.  假设有若干数量的土堆，每个土堆的大小不一且分布的位置不一样。同时存在若干数量的土坑，每个土坑的大小不一且位置不一样。对于每个土堆-土坑对的运输成本是给定的（以距离表示）。任务是把土堆搬动并填到土坑里，如何规划运输方案，使运输成本最低(描述详见[这里][Link 1])；
2.  假设有一批货物需要从多个工厂运输到多个仓库，工厂和仓库的分布位置无规律，且它们的储存量不同。如何尽可能高效把所有 (当仓库总容量大于货物总重量) 或部分货物 (当仓库总容量小于货物总重量) 从工厂运送到仓库(描述详见[这里][Link 2])；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70][] 图片来自 [这里][Link 2]

*  EMD loss（also known as Wasserstein distance）

上述两种场景是运输中的规划问题。抽象出来就是出发地和目的地间的距离是固定的，只是两者之间的运输量是变化的，且该运输量存在两个约束条件，目的是运输成本最低。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70 1][] 图片来自 [这里][EMD]

1.  第一行表示P和Q两个(特征)向量间移动元素的工作量，即运输成本；
2.  第二行表示i和j之间的运输量；
3.  第三行和第四行表示运输量小于P和Q中当前位置的存量或需求量，即i和j之间的运输量不能大于仓库可存储的量，也不能大于工厂生产的量；
4.  总的运输量小于总的存量或需求量；

**emd loss定义为总运输量归一化后的运输成本**，公式如下

![20200515064303777.jpg][] 图片来自 [这里][EMD]

*  针对图像和文本的应用场景

1.  [图像间的相似性度量][Link 3]
2.  [文档、词汇和语义的相似性度量][Link 4]
3.  具有顺序的多类别之间的距离，如年龄分布和图像美学分布。通常多分类问题采用交叉熵来计算预测值和真实值之间的差异，数据集中各类别之间也是相互独立的。[文章][Link 5]表明![EMD^\{2\}\\: loss][EMD_2_ loss] 在年龄和图像美学分布上的效果优于交叉熵损失，且给出了计算[code][] 。
4.  GAN 网络: [Wasserstein GAN][]

参考文献：

1.  [The Earth Mover's Distance][EMD]
2.  [马氏距离和推土机距离公式或者定义？怎样用它们判定两个特征点是否匹配？][Link 1]
3.  [推土机距离 (Earth Mover Distance)][Link 2]
4.  [图像检索：一维直方图+EMD距离][Link 3]
5.  [Earth mover’s distance][Link 4] 用于文档相似性度量
6.  [Squared Earth Mover's Distance Loss For Training Deep Neural Networks on Ordered-Classes][Link 5]  论文及代码
7.  [令人拍案叫绝的Wasserstein GAN][Wasserstein GAN]

[EMD]: http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/RUBNER/emd.htm
[Link 1]: https://www.zhihu.com/question/22521107
[Link 2]: http://blog.leanote.com/post/braveapple/%E6%8E%A8%E5%9C%9F%E6%9C%BA%E8%B7%9D%E7%A6%BB-Earth-Mover-Distance
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70]: /images/20230312/5da94bd79a3943b0b169cb18b1693248.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70 1]: /images/20230312/b36190a4be17432282593d93ecbbcbee.png
[20200515064303777.jpg]: /images/20230312/8ea679bddad64d6eaa0aeba6d46a3403.png
[Link 3]: https://www.shuzhiduo.com/A/QW5YAaqY5m/
[Link 4]: https://towardsdatascience.com/earth-movers-distance-68fff0363ef2
[Link 5]: https://www3.cs.stonybrook.edu/~cvl/emd2.html
[EMD_2_ loss]: https://private.codecogs.com/gif.latex?EMD%5E%7B2%7D%5C%3A%20loss
[code]: http://vision.cs.stonybrook.edu/~lehhou/home/emd_loss.zip
[Wasserstein GAN]: https://zhuanlan.zhihu.com/p/25071913