可视化高维数据：T-SNE

分手后的思念是犯贱 2022-10-18 04:54 287阅读 0赞

作者：知乎—Ganso

地址：https://zhuanlan.zhihu.com/p/99469215

Google Tech Talk June 24, 2013 (more info below)

Presented by Laurens van der Maaten, Delft University of Technology, The Netherlands

**视频：**

https://youtu.be/RJVL80Gg3lA

## **论文：** ##

## https://www.jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdf ##

Laurens van der Maaten & Geoffrey Hinton

**01**

**Introduction**

有一个N维的高维数据集 ![format_png][]，那应该如何去直观感受数据组织？  
如果是关注过可视化领域的，通常会想到Parallel coordinates、radial graph layout或是tree maps：

![2fde6fffe8b0d7cc8526d9118f88ba1d.png][]

这些方法通常具有两个特点：丰富多彩，一次只可以可视化几个变量。

问题在于如何可视化非常高维度的数据？

simple idea：

建立一个高维数据空间到低维空间的映射。

低维空间点的距离表示了数据之间的相似度。

优化相关目标函数（描述了数据相似度以及映射之后的相似度）

![38f751aa42a81d34f82143de6412496c.png][]

这样我们可以可视化低维(2-3维度)数据。  
通常将这类方法称为：dimension reduction（维度降低）、embedding（嵌入）或multidimensional scaling（多维度缩放）。

##     ##

**02**

**主成成分分析 PCA**

下图是对于MNIST 5000张图片的特征做了PCA。  
左边红色的部分是数字0，而右边橙色的部分是1，可以看到之间有很大间隔。  
其他的主成成分构成是上方的479，以及下方的358

![e3a4ba556afa0bfa250fcf48658ebef9.png][]

效果初看起来似乎还不错，但这是作者使用了数据原始标签对于数据点进行染色。如果缺乏标签信息的话，其实很难看出数据的分布。

如果对于数据的标签是未知的，对于数据的可视化会变成这样。

![ed171c12acbbe90aea7fd63924a2ce29.png][]

**Question：**

PCA是否在优化合适的目标函数？

PCA主要是最大化样本投影后的方差，或者说是样本点距离与投影点距离的方差。所以pca主要是扩大点之间的距离。

当数据处于某种非线性流形时，比如下面的瑞士卷（switch roll）。两点的欧式距离不能很好的描述相似性。图示的欧式距离很小，但是考虑到整个流形结构上面的距离，这两点其实距离很远。

![e1c90a62238a2ca5af4f648997ac097a.png][]

##     ##

**03**

**其他方法**

等度量映射：测量原空间点之间的测地线距离，然后作为pca的输入

![0f80b1b7b9e2c728b5750352bcdc9758.png][]

Locally Linear Embedding

![82143e621a6611ac19ccdee3e2394508.png][]

**04**

**T-SNE**

**描述高维数据的相似度**

t-Distributed Stochastic Neighbor Embedding

在高维空间中，我们要想办法测量物体间距离。

![d22fbb1b688fa512daf6067dbc652fee.png][]

对于图中的红色方块xi，我们以其为中心建立一个高斯分布，并且测量其他点在这个分布下的概率密度。所以我们会计算所有其他点在这个分布下的概率密度，并进行归一化（分母）。计算结果 ![format_png 1][] 是i与j的相似程度。

![36ebf4a0bbc5ed17e14721ab5acd2811.png][]

在实践中，我们往往计算数据之间的条件概率而不是联合概率。即分母上我们不会归一化所有的点对，而是归一化涉及xi的点对。这样对于不同的点xi可以设置不同的标准差。在空间的不同部分可能有着不同的密度，而这个技巧可以适应不同的密度分布。

最后计算出联合密度，即对条件情况进行加权求和。最后求出了最终情况下高维度的相似度。

**描述低维数据的相似度：**

![e5717251ece0550c1e2c4b315e411fb5.png][]

处理方法跟高维情况很像，对于指定的点建立一个分布，然后计算其他点在这个分布下的概率分布。我们希望的是低维情况下的相似度 ![format_png 2][] 能够一定程度上反映高维情况下的相似度 ![format_png 1][] 。如果![format_png 2][]与![format_png 1][]的结果很像，那么说明映射的结构与原始高维数据结构很相近。

我们通常可以使用KL散度来计算两种概率分布相似程度：

![7c0554193f9584e9b602649632ab4278.png][]

我们想要的是将数据映射到低维之后，与高维数据的KL散度相差并不大。为此需要对kl散度进行梯度下降 。这样同样的两个点，如果高维上的相似度![format_png 2][]与![format_png 1][]的差距很大，惩罚项也会很大。

有一个明显的问题是如何衡量映射后低维数据的相似度，这里作者使用了学生t分布。

作者的解释是

![38bb0ece9f4db647c1d9af1342cadaf8.png][]

假设原始数据是高维分布的。我们想将数据映射到低维并且相似数据的距离尽量小，这会导致不相似的点之间的距离会被建模的很远。

举一个很简单的例子，如图所示的二维数据结构，红线代表两个相似点之间的距离。

![bbad79f925dc57bc30172e09465d6262.png][]

将其建模到一维之后,可以看到两对相似点的距离是不变的，但是距离最远的两个点之间的距离发生了变化。

![e3ab1e4c60976bb26cd0f8a06162a104.png][]

当你将高维数据建模到低维度时，这种事情常常会发生。而学生氏t分布的长尾分布特性可以减小这种影响。

下图是对于MNIST数据集进行的T-SNE操作

可以看到数据被很好的分成了好几个簇，值得注意的是，数据标签仅用于后期标注颜色，本身方法是无监督的。

![ae595a1ff35349220c06c7663a63f151.png][]

除了MNIST之外，T-SNE也可以用于图片材质的特征提取

![6ba6aed8b8a10f71dfbf1c27b4949cc3.png][]

**05**

**梯度插值**

![2709d4da3cd4052a3a1d8bb8830c6558.png][]

梯度公式

推导如下：

![9414f7c5ac54884820b566cd4b39fa25.png][] ![6b9cba59faa55bf50d33c6fd22d611bf.png][]

**对于梯度公式的直观解释：**

对于指定点 ![format_png 3][] ,最后一项是表示其他点指向此点的向量

![296b3c6f627c3a47de84eec94ea74090.png][]

前面两项是对于此向量的扩张/压缩

![d2383951d1f3963fe46b17d7ad8cc915.png][]

而 ![format_png 1][] 与 ![format_png 2][] 很相近时，也就是我们的目标，相当于不用改动位置了，梯度也很接近0.

最后求出所有向量的和，相当表示于点i需要向哪里移动。

![6e3dbf6f45e2fa09d3feb2ee01328dd0.png][]

**优化计算量:Barnes-Hut approxiamtion**

如图所示ABC三个点的距离十分相近，所以这三个向量可以由三个点中心的向量来模拟表示。

![133ecd29b60e7ddded7d50ffe0110485.png][]

对于整个数据结构。可以用Quadtree来表示

以上图为例，根部表示整个map，整个map均分为4格。其中每格叶子节点的中心保存到根部的子节点中。

![0877c0845ca1f1d3ad15ebe058b6dd0c.png][]

当我们需要计算abc离f的距离时，直接对树做深度优先遍历，其父节点离f足够近（小于设定阈值）时，就可以用近似向量来代替。这样可以显著减少计算量。

![4b3ac64c19028f61fb2e9536176c44ae.png][]

**06**

**示例**

对于CIfar10的映射

![89f53c4a814c0d0594be266ce2fe0587.png][]

**07**

**应用**

T-SNE可以用于高维数据的可视化。

现有深度学习的原始数据集T-SNE很难处理（如上图），但是通过神经网络学习到的输出数据（全连接层）可以通过T-SNE可视化得到很多信息。判断网络有没有很好的学习到样本特征。

![0c0d1c207b10ff552e30299aad6200e0.png][]

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![f3cc6e825d48d9543f440bc3e055346b.png][]

[format_png]: /images/20221014/66cbf56b379a4c28a6192a4b92f1b221.png
[2fde6fffe8b0d7cc8526d9118f88ba1d.png]: /images/20221014/a3d598db3fa24623882e3f6498fd4d38.png
[38f751aa42a81d34f82143de6412496c.png]: /images/20221014/afeeca36a78249ada12074878ec89e1e.png
[e3a4ba556afa0bfa250fcf48658ebef9.png]: /images/20221014/69b29fb7abad41d19776f20eeffeebe5.png
[ed171c12acbbe90aea7fd63924a2ce29.png]: /images/20221014/5bfa93406e394d7db4f94708d0ccbcf2.png
[e1c90a62238a2ca5af4f648997ac097a.png]: /images/20221014/4f0028a142a147009bcf9a893fdc6026.png
[0f80b1b7b9e2c728b5750352bcdc9758.png]: /images/20221014/03e1b5a062e74c91bc286d94bb4b23fb.png
[82143e621a6611ac19ccdee3e2394508.png]: /images/20221014/844bbfe041aa494facfd91714ea409c6.png
[d22fbb1b688fa512daf6067dbc652fee.png]: /images/20221014/239052e8fdfc4c65b132a29ff000f37f.png
[format_png 1]: /images/20221014/1f5d2e93aa374e0aa96adf1b639ac1ba.png
[36ebf4a0bbc5ed17e14721ab5acd2811.png]: /images/20221014/ca9a07b8583f4efd8195d408fa4aba23.png
[e5717251ece0550c1e2c4b315e411fb5.png]: /images/20221014/9ce2b0cf09b94772924ddf6ae4d1e26d.png
[format_png 2]: /images/20221014/22c423912a0942199dd747945cbe3cfc.png
[7c0554193f9584e9b602649632ab4278.png]: /images/20221014/621a9dbd1cc54a99979b6ee57de20e2f.png
[38bb0ece9f4db647c1d9af1342cadaf8.png]: /images/20221014/0135dac48fb44d049a50c00173b1fcc8.png
[bbad79f925dc57bc30172e09465d6262.png]: /images/20221014/d5c3021c7baa480a90efd2587325602f.png
[e3ab1e4c60976bb26cd0f8a06162a104.png]: /images/20221014/f39a90d6413d445cbf17421b526ce5c7.png
[ae595a1ff35349220c06c7663a63f151.png]: /images/20221014/e38a7ccc099240b681e63766d09ef3f4.png
[6ba6aed8b8a10f71dfbf1c27b4949cc3.png]: /images/20221014/e5e5759cd06d41349a3307bfb8ad93ab.png
[2709d4da3cd4052a3a1d8bb8830c6558.png]: /images/20221014/767026ce1e8147de90a6f0b90279a73e.png
[9414f7c5ac54884820b566cd4b39fa25.png]: https://img-blog.csdnimg.cn/img_convert/9414f7c5ac54884820b566cd4b39fa25.png
[6b9cba59faa55bf50d33c6fd22d611bf.png]: /images/20221014/c84cecc895fd4526957c8c06d8b867e3.png
[format_png 3]: /images/20221014/fa1a3df17a9c4b0496869d2cd3bcfb2e.png
[296b3c6f627c3a47de84eec94ea74090.png]: /images/20221014/20562e1b34ee42d193203e70909bf877.png
[d2383951d1f3963fe46b17d7ad8cc915.png]: /images/20221014/1d4c81ce273d4e798d5860cf7095ddbe.png
[6e3dbf6f45e2fa09d3feb2ee01328dd0.png]: /images/20221014/3e5632e0ab864c1d9f35db27a369e992.png
[133ecd29b60e7ddded7d50ffe0110485.png]: /images/20221014/621fc7a91662424aa2788997d6ca9631.png
[0877c0845ca1f1d3ad15ebe058b6dd0c.png]: /images/20221014/104db93ed76949648ec45f7d9c2563f4.png
[4b3ac64c19028f61fb2e9536176c44ae.png]: /images/20221014/09f6cf58d8e545509884ef97fa93e5f6.png
[89f53c4a814c0d0594be266ce2fe0587.png]: /images/20221014/d7a3e964311d4fbf975cc5d93ebeca5e.png
[0c0d1c207b10ff552e30299aad6200e0.png]: /images/20221014/0351ca02224945cda97bcd20e7926bd0.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[f3cc6e825d48d9543f440bc3e055346b.png]: /images/20221014/18d6071addf14f969d2365a61df5e637.png