计算机视觉中的深度学习3: 线性分类

左手的ㄟ右手 2022-11-28 10:47 263阅读 0赞

Slides：[百度云][Link 1] 提取码: gs3n

## 线性分类的参数 ##

### 线性分类的公式 ###

f ( x , W ) = W x + b f(x, W) = Wx + b f(x,W)=Wx\+b  
其中 W W W为参数或者权重

以一个有 10 10 10类的 32 × 32 × 3 32\\times 32\\times 3 32×32×3的图片为例  
其中 f ( x , W ) f(x, W) f(x,W)和 b b b为 ( 10 , ) (10,) (10,)向量， W W W为 ( 10 , 3072 ) (10, 3072) (10,3072)的矩阵， x x x为 ( 3072 , ) (3072,) (3072,)的向量。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center]  
也可以把bias并到Weight里面，就变成如下了  
公式也可以简化成

f ( x , W ) = W x f(x, W) = Wx f(x,W)=Wx  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 1]

### 线性分类的效果 ###

线性分类是在一个多维空间里面用多个超平面进行分割

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 2]

### 线性分类的缺点 ###

很多问题不能通过线性分类来解决，比如在上个世纪把人工智能打入谷底的XOR问题

## ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 3]   Loss函数 ##

如何选一个好的W让分类器表现有优秀

1.  找一个好的loss函数
2.  找一个能让loss函数值最小的W

高的Loss：分类器表现糟糕  
低的Loss：分类器表现优秀

对于一个数据集， x i x\_i xi是图片， y i y\_i yi是标签  
 \{ ( x i ) , y i \} i = 1 N \\\{(x\_i), y\_i\\\}^N\_\{i=1\} \{ (xi),yi\}i=1N  
那么Loss函数就是用于描述预测值与实际值中差异的函数  
 L i ( f ( x i , W ) , y i ) L\_i(f(x\_i, W), y\_i) Li(f(xi,W),yi)  
通常会用一个数据集的平均Loss来表示这个分类器在这个数据集上的表现  
 L = 1 N ∑ i L i ( f ( x i , W ) , y i ) L=\{1\\over N\}\\sum\_i L\_i(f(x\_i, W), y\_i) L=N1i∑Li(f(xi,W),yi)

### Multiclass SVM Loss ###

L i = ∑ j ≠ y i ( 0 , s j − s y i + 1 ) L\_i=\\sum\_\{j\\neq y\_i\}(0, s\_j-s\_\{y\_i\}+1) Li=j=yi∑(0,sj−syi\+1)

对于这张猫图，它对于这几个分类计算出来的结果是这样的  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 4]

那么它的SVM Loss就是  
 L 0 = m a x ( 0 , 5.1 − 3.2 + 1 ) + m a x ( 0 , − 1.7 − 3.2 + 1 ) = m a x ( 0 , 2.9 ) + m a x ( 0 , − 3.9 ) = 2.9 \\begin\{aligned\} L\_0 &= max(0, 5.1-3.2+1) + max(0, -1.7-3.2+1) \\\\ & = max(0, 2.9) + max(0, -3.9)\\\\ & = 2.9 \\end\{aligned\} L0=max(0,5.1−3.2\+1)\+max(0,−1.7−3.2\+1)=max(0,2.9)\+max(0,−3.9)=2.9

平均的Loss则是 L = ( 2.9 + = + 12.9 ) / 3 = 5.27 L = (2.9+=+12.9)/3=5.27 L=(2.9\+=\+12.9)/3=5.27

### 正则化 ###

正则化的目的是为了防止分类器在训练集上表现过好，防止过拟合现象；同时可以增加曲率从而优化训练的过程

L ( W ) = 1 N ∑ i = 1 N L i ( f ( x i , W ) , y i ) + λ R ( W ) L(W) = \{1\\over N\}\\sum\_\{i=1\}^NL\_i(f(x\_i, W), y\_i)+\\lambda R(W) L(W)=N1i=1∑NLi(f(xi,W),yi)\+λR(W)

#### 常用的正则化方式 ####

1.  L2正则： R ( W ) = ∑ k ∑ l W k , l 2 R(W)=\\sum\_k\\sum\_lW^2\_\{k,l\} R(W)=∑k∑lWk,l2
2.  L1正则： R ( W ) = ∑ k ∑ l ∣ W k , l ∣ R(W)=\\sum\_k\\sum\_l \\mid W\_\{k,l\}\\mid R(W)=∑k∑l∣Wk,l∣
3.  Elastic Net（L1+L2）： R ( W ) = ∑ k ∑ l β W k , l 2 + ∣ W k , l ∣ R(W)=\\sum\_k\\sum\_l \\beta W^2\_\{k,l\} + \\mid W\_\{k,l\}\\mid R(W)=∑k∑lβWk,l2\+∣Wk,l∣
4.  Dropout：丢掉一些训练结果
5.  归一化
6.  Cutout，Mixup， Stochastic depth

#### 正则化的效果 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 5]  
对于w1和w2，他们的训练结果都是一样的，但是对于L2正则函数而言，他们会更喜欢均匀分布的权重，即w2。

### Cross-Entropy Loss ###

通过将分数改变为概率，即，对于 X i X\_i Xi是 y = k y = k y=k的概率是：

P ( Y = k ∣ X = x i ) = e s k ∑ j e s j P(Y=k\\mid X=x\_i)=\{e^\{s\_k\}\\over \\sum\_je^\{s\_j\}\} P(Y=k∣X=xi)=∑jesjesk

那么它的Loss函数就是

L i = − l o g P ( Y = y j ∣ X = x i ) L\_i=-logP(Y=y\_j\\mid X=x\_i) Li=−logP(Y=yj∣X=xi)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 6]  
利用[KL散度][KL]衡量两个分布之间的差异。

[Link 1]: https://pan.baidu.com/s/1sXKQ0AnT-eRa6lEawAKKXA
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/71c6a3f19084416e8f9a1d3dcf2d30d6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/610dcbb1629148fea1207bd30febcd25.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221124/702fa2634dd84ef6bc31fa9508e2de9b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221124/37f9857bb91c439293f3039ed344e6f2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221124/cb11c1052d9c4ec48a8d1cd983e23070.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221124/077fd287f3be45e1bc31892bfd692b11.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221124/56f8aa7146374e6f8dfd7765efd53d8f.png
[KL]: https://www.cnblogs.com/huangshiyu13/p/6898212.html