TSNE数据降维

秒速五厘米 2023-01-05 12:05 277阅读 0赞

#  #

1、TSNE的基本概念

2、例1 鸢尾花数据集降维

3、例2 MINISET数据集降维

## **1、TSNE的基本概念** ##

t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法，是由 Laurens van der Maaten 等在08年提出来。此外，t-SNE 是一种**非线性降维算法**，非常适用于高维数据降维到2维或者3维，进行可视化。该算法可以将对于较大相似度的点，t分布在低维空间中的距离需要稍小一点；而对于低相似度的点，t分布在低维空间中的距离需要更远。

作者的主页: [http://lvdmaaten.github.io/tsne/][http_lvdmaaten.github.io_tsne]

t-SNE的梯度更新有**两大优势**：

*  对于不相似的点，用一个较小的距离会产生较大的梯度来让这些点排斥开来。
 *  这种排斥又不会无限大(梯度中分母)，避免不相似的点距离太远。

主要不足有四个:

*  主要用于可视化，很难用于其他目的。比如测试集合降维，因为他没有显式的预估部分，不能在测试集合直接降维；比如降维到10维，因为t分布偏重长尾，1个自由度的t分布很难保存好局部特征，可能需要设置成更高的自由度。
 *  t-SNE倾向于保存局部特征，对于本征维数(intrinsic dimensionality)本身就很高的数据集，是不可能完整的映射到2-3维的空间
 *  t-SNE没有唯一最优解，且没有预估部分。如果想要做预估，可以考虑降维之后，再构建一个回归方程之类的模型去做。但是要注意，t-sne中距离本身是没有意义，都是概率分布问题。
 *  训练太慢。有很多基于树的算法在t-sne上做一些改进

## 2、例1 鸢尾花数据集降维 ##

from sklearn.manifold import TSNE
    from sklearn.datasets import load_iris
    from sklearn.decomposition import PCA
    import matplotlib.pyplot as plt
    # 加载数据集
    iris = load_iris()
    # 共有150个例子， 数据的类型是numpy.ndarray
    print(iris.data.shape)#(150,4)
    # 对应的标签有0,1,2三种
    print(iris.target.shape)#(150,)
    # 使用TSNE进行降维处理。从4维降至2维。
    tsne = TSNE(n_components=2, learning_rate=100).fit_transform(iris.data)
    
    # 使用PCA 进行降维处理
    pca = PCA().fit_transform(iris.data)
    # 设置画布的大小
    plt.figure(figsize=(12, 6))
    plt.subplot(121)
    plt.scatter(tsne[:, 0], tsne[:, 1], c=iris.target)
    plt.subplot(122)
    plt.scatter(pca[:, 0], pca[:, 1], c=iris.target)
    plt.colorbar()
    plt.show()

结果:

![6f8ba0b2f027a9772d2f2e5f233e24e3.png][]

左边是：tsne降维度，右边是pca降低维度

从图中也可以看出，原数据不同类别之间降低降到2维后，可以很好的分开

## 3、例2 MINISET数据集降维 ##

import numpy as np
    
    import matplotlib.pyplot as plt
    from mpl_toolkits.mplot3d import Axes3D 
    from sklearn.datasets import load_digits
    
    from sklearn.manifold import TSNE
    digits = load_digits(n_class=6)
    X = digits.data#1083*64
    y = digits.target#1083 max(y)=5
    
    n_img_per_row = 20
    img = np.zeros((10 * n_img_per_row, 10 * n_img_per_row))
    for i in range(n_img_per_row):
        ix = 10 * i + 1
        for j in range(n_img_per_row):
            iy = 10 * j + 1
            img[ix:ix + 8, iy:iy + 8] = X[i * n_img_per_row + j].reshape((8, 8))
    
    #按行放置 取前400个图片
    #img中会有0、10、20列这些没有，是为了形成空列吧。
    plt.imshow(img, cmap=plt.cm.binary)#cmap: 颜色图谱（colormap), 默认绘制为RGB(A)颜色空间。
    plt.title('A selection from the 64-dimensional digits dataset')

![48043a2598aeebd9f39161460441253a.png][]

import time#需导入包
    tsne = TSNE(n_components=3, init='pca', random_state=0)
    t0 = time
    X_tsne = tsne.fit_transform(X)
    def plot_embedding_3d(X, title=None):
        #坐标缩放到[0,1]区间
        x_min, x_max = np.min(X,axis=0), np.max(X,axis=0)
        X = (X - x_min) / (x_max - x_min)
        #降维后的坐标为（X[i, 0], X[i, 1],X[i,2]），在该位置画出对应的digits
        fig = plt.figure()
        ax = fig.add_subplot(1, 1, 1, projection='3d')
        for i in range(X.shape[0]):
            ax.text(X[i, 0], X[i, 1], X[i,2],str(digits.target[i]),
                     color=plt.cm.Set1(y[i] / 10.),
                     fontdict={'weight': 'bold', 'size': 9})
        if title is not None:
            plt.title(title)
    
    plot_embedding_3d(X_tsne,"t-SNE 3D " )

![4fedd788f0a11489fe9ee4bfb6555b7e.png][]

TSNE嵌入到三维

import time#需导入包
    tsne = TSNE(n_components=2, init='pca', random_state=0)
    X_tsne = tsne.fit_transform(X)
    plt.scatter(X_tsne[:,0],X_tsne[:,1],c=y)
    plt.colorbar()

![8acad42c0dd6216f5c1bec71c42f6ae8.png][]

def plot_embedding(data, label, title):
        x_min, x_max = np.min(data, 0), np.max(data, 0)
        data = (data - x_min) / (x_max - x_min)
    
        fig = plt.figure()
        ax = plt.subplot(111)
        for i in range(data.shape[0]):
            plt.text(data[i, 0], data[i, 1], str(label[i]),
                     color=plt.cm.Set1(label[i] / 10.),
                     fontdict={'weight': 'bold', 'size': 9})
        plt.xticks([])
        plt.yticks([])
        plt.title(title)
        return fig
    
    plot_embedding(X_tsne,y,"t-SNE 2D")

![b9e220bcb9be2cdbd4ad2d91346fe09b.png][]

如有问题请大家留言

请给个赞奥

参考：

1、[http://www.datakit.cn/blog/2017/02/05/t\_sne\_full.html][http_www.datakit.cn_blog_2017_02_05_t_sne_full.html]

2、[https://blog.csdn.net/u012162613/article/details/45920827][https_blog.csdn.net_u012162613_article_details_45920827]

3、[https://www.jianshu.com/p/d6e7083d7d61][https_www.jianshu.com_p_d6e7083d7d61]

编辑于 2020-03-15

[http_lvdmaaten.github.io_tsne]: https://link.zhihu.com/?target=http%3A//lvdmaaten.github.io/tsne/
[6f8ba0b2f027a9772d2f2e5f233e24e3.png]: /images/20221119/c5d77088dd864a40a18fe7d46de15335.png
[48043a2598aeebd9f39161460441253a.png]: /images/20221119/aefae555a1f74a1f86582cf41c687f5b.png
[4fedd788f0a11489fe9ee4bfb6555b7e.png]: /images/20221119/b54f829c3c6a4d098c3e226187391aaa.png
[8acad42c0dd6216f5c1bec71c42f6ae8.png]: /images/20221119/e59fb05d33f547dba8c9b1ac43d0d5f8.png
[b9e220bcb9be2cdbd4ad2d91346fe09b.png]: /images/20221119/df34a29bbbae4718b523115636bf5718.png
[http_www.datakit.cn_blog_2017_02_05_t_sne_full.html]: https://link.zhihu.com/?target=http%3A//www.datakit.cn/blog/2017/02/05/t_sne_full.html
[https_blog.csdn.net_u012162613_article_details_45920827]: https://link.zhihu.com/?target=https%3A//blog.csdn.net/u012162613/article/details/45920827
[https_www.jianshu.com_p_d6e7083d7d61]: https://link.zhihu.com/?target=https%3A//www.jianshu.com/p/d6e7083d7d61