2017.1-2018.4低运算复杂度和存储复杂度的图像分类网络实现

「爱情、让人受尽委屈。」 2021-11-22 07:48 191阅读 0赞

背景：实现极小内存与运算资源占用下的手写字符、车标、人脸图像的识别。

以第一作者发表CCF B类会议ICASSP论文一篇：  
Bindctnet: A Simple Binary Dct Network for Image Classification. [ICASSP 2018][]: 1278-1282

**目录**

一、背景

1.1 应用场景

实际价值

理论价值

1.2 会议背景

1.3 贡献点

二、原理及公式

2.1 网络结构概览

2.2 特征提取阶段

DCT变换

聚能量效应

二维DCT变换

行列分解法与pruning algorithm

二值DCT变换

2.3 分类器阶段

分类器前特征提取

三、运算与存储消耗

3.1 卷积核的存储消耗

3.2 特征提取运算消耗

3.3 SVM分类器消耗

四、实验

4.1 数据集

4.2 准确率

4.3 运算与存储消耗

五、总结

--------------------

# 一、背景 #

## 1.1 应用场景 ##

### 实际价值 ###

易于硬件部署，低内存占用，高速度，高帧率：

*  图像分类网络都具有层数较深，内存占用大，运算消耗大这些特点。特别是对于卷积来说，是一种运算密集型的操作。
 *  但是在一些应用场景下，比如低端的硬件平台上，无论需要对小图像进行分类。因此需要较低的运算复杂度和存储复杂度。
 *  再或者工厂流水线场景下，需要极快速的根据图像给出预测结果。
 *  希望在尽可能低的成本下完成图像分类网络的部署，同时具有低 内存占用和高帧率的特点。

### 理论价值 ###

深层的卷积神经网络对于图像的分类任务很有效果，也是主流趋势，但是浅层的图像分类网络能否达到较好的性能?

*  对于小图像来说，深层的网络并不能提升图像分类的性能，浅层的网络已经可以达到较好的结果。

几乎所有的神经网络均采用卷积的结构，可否舍弃卷积的结构来提取特征？

*  答案是可以的。比如运用这个项目中的DCT变换的方法来提取特征，既能降低运算量，也能较好的提取特征。

## 1.2 会议背景 ##

ICASSP（International Conference on Acoustics, Speech and Signal Processing）即国际声学、语音与信号处理会议，是全世界最大的，也是最全面的信号处理及其应用方面的顶级会议。

信号处理领域比较强的会议Globecom, ICC, ICASSP,WCNC,VTC

ICASSP属于CCF B类会议，相当于SCI 2区。因为是会议论文，所以是EI检索。

## 1.3 贡献点 ##

*  基底的存储复杂度，网络的内存开销：只用存一个一维的二值DCT基底，和线性SVM的超平面。
 *  特征提权阶段由卷积操作替换为一维的二值DCT操作，乘法操作完全没有，加法操作缩减了十倍。
 *  通过二值哈希与小块直方图提取特征，将featuremap的特征缩减。并且通过特征抽取进一步缩减。
 *  在MNIST数据集和VLOVO数据集上达到了目前最佳的准确率。最快的速度。32×32的图像CPU预测帧率达200fps

# 二、原理及公式 #

## 2.1 网络结构概览 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70][]

stage1 与stage2 两个阶段的特征提取阶段，将图像特征通过DCT变换提取出来。

stage 3 为特征提取阶段，通过二值哈希缩减feature map的数量，通过块直方图量化提取出feature。

## 2.2 特征提取阶段 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1][]

### DCT变换 ###

[https://baike.baidu.com/item/%E7%A6%BB%E6%95%A3%E4%BD%99%E5%BC%A6%E5%8F%98%E6%8D%A2/7118270?fr=aladdin][https_baike.baidu.com_item_E7_A6_BB_E6_95_A3_E4_BD_99_E5_BC_A6_E5_8F_98_E6_8D_A2_7118270_fr_aladdin]

离散余弦变换(DCT for Discrete Cosine Transform)是与傅里叶变换相关的一种变换，它类似于[离散傅里叶变换][Link 1](DFT for Discrete Fourier Transform),但是只使用实数。离散余弦变换相当于一个长度大概是它两倍的离散傅里叶变换，这个离散傅里叶变换是对一个实偶函数进行的（因为一个实偶函数的傅里叶变换仍然是一个实偶函数）

### 聚能量效应 ###

DCT变换之后的大值主要集中在低频部分，也与人的感知类似。人比较容易感知到低频的特征，所以图像分类中用低频的特征作为特征，因此可以用DCT变换的前几个DCT域的值，也就是频域低频的值作为提取出的特征。

如果是二维的DCT变换，聚能量效应让主要能量集中在左上角。

### 二维DCT变换 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2][]

![20190805113436816.png][]

二维DCT变换相当于对一个patch进行两次一维的DCT变换。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3][]

![20190805113410835.png][]

可以直接用DCTMtx对小块进行变换，但真正感兴趣的是DCT变换后左上角的区域，所以可以选取DCTMtx前三行对Patch进行变换，节省一定的运算量。

### 行列分解法与pruning algorithm ###

*  行列分解法（RCM）RCM方法是将NxN数据按行(或列)方向进行N个1\-D DCT计算,产生中间矩阵,然后对中间矩阵再按列(或行)方向进行N个1\-D DCT计算,最后得到2\-D DCT。
 *  截断DCT算法(Purinng algorihtm) 输出仅需要 N0<N 个系数。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 4][]

### 二值DCT变换 ###

二值DCT变换也具有DCT变换的性质，比如正交性和聚能量效应，并且浮点数的DCT运算更加节省内存消耗和运算消耗。

*  ![20190805113930926.png][]
 *  ![20190805113945621.png][]
 *  ![20190805113954605.png][]

## 2.3 分类器阶段 ##

### 分类器前特征提取 ###

**1）Hashing: 二值化**

![20190805114255229.png][]

首先是对Second stage的每个卷积的结果做二值化，每一组得到L2张二值图片，对这L2张二值图片进行十进制编码，得到一张新的十进制图片，元素取值范围为\[0, 2^L1-1\]

**2）Histogram：直方图统计**

![2019080511430612.png][]

对每L1张图片做histBlock到vector的变换，这样就完成了一张图片的PCANet的特征提取。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 5][]

**3）SVM分类器**

将列向量放到训练好的SVM中进行分类

# 三、运算与存储消耗 #

## 3.1 卷积核的存储消耗 ##

神经网络的卷积核是二维且需要存储的。如果只通过DCT变换提取特征的话，只需要存储一维的卷积核。并且在二值化之后，更加节省内存。并且卷积核不用训练得出，只需存储一维的二值DCT的基底。只有(0,1,-1即可)

其中L1是第一层featuremap的层数，L2是第二层featuremap的层数。N是用于提取特征的patch的边长。实验之后一般取N=8.

![20190805150307318.png][]

## 3.2 特征提取运算消耗 ##

mn是图像的大小。二维降为一维可以明显的缩小运算复杂度。并且二值DCT之后在矩阵中出现了大量的0值，更加简化运算。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 6][]

## 3.3 SVM分类器消耗 ##

所用分类器均为线性分类器。因此只用存储超平面即可。在经过了特征采样之后，SVM分类器的消耗进一步缩小。

![20190805151421178.png][]

# 四、实验 #

## 4.1 数据集 ##

因为是小图像的分类问题，所以在MNIST数据集与VLOGO数据集上进行了我们的实验。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 7][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 8][]

VLOGO  vehicle logo dataset ：a dataset of vehicle logos from top ten popular manufacturers

MNIST数据集为28×28大小，VLOGO被裁剪为32×32大小。

## 4.2 准确率 ##

随着训练集的增大，网络在测试集上的测试误差迅速减小。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 9][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 10][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 11][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 12][]

## 4.3 运算与存储消耗 ##

可以看到，存储的SVM的支持向量的维度和网络参数非常小。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 13][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 14][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 15][]

# 五、总结 #

运用1D-DCT替代2D-DCT，从实质上降低运算复杂度，二值DCT运算进行特征图获取，使特征图的获取不用浮点和乘法，变为基本的定点加法运算。

引入超参数Ɵ使存储近似降低为原来的 1⁄Ɵ。

在MNIST和VLOGO数据集上进行实验，准确率几乎state-of-the-art，几乎无参数存储，速度至少提升至少三倍，并且极易硬件实现

[ICASSP 2018]: https://dblp.uni-trier.de/db/conf/icassp/icassp2018.html#XingYMHZD18
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70]: /images/20211122/b092cd0814c84127913b0dd10b019515.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1]: /images/20211122/ddf462058082465ea67338a67a99eec8.png
[https_baike.baidu.com_item_E7_A6_BB_E6_95_A3_E4_BD_99_E5_BC_A6_E5_8F_98_E6_8D_A2_7118270_fr_aladdin]: https://baike.baidu.com/item/%E7%A6%BB%E6%95%A3%E4%BD%99%E5%BC%A6%E5%8F%98%E6%8D%A2/7118270?fr=aladdin
[Link 1]: https://baike.baidu.com/item/%E7%A6%BB%E6%95%A3%E5%82%85%E9%87%8C%E5%8F%B6%E5%8F%98%E6%8D%A2/6379901
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2]: /images/20211122/0eb64c205bd24dd289ca8fa9ab45787b.png
[20190805113436816.png]: /images/20211122/6e0d8262451a47358beecadb658f7cad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3]: /images/20211122/4327112683ae45c0bc1d68eb2e3fd3bd.png
[20190805113410835.png]: /images/20211122/c1a294ddee804e80bad24dff3584b6c8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 4]: /images/20211122/fdc32f240ce44d9aa2bd7735feb257f7.png
[20190805113930926.png]: /images/20211122/56c27062b0e548eaa8ddb09db556e97a.png
[20190805113945621.png]: /images/20211122/88a92286338c44258257065ac0ded4de.png
[20190805113954605.png]: /images/20211122/9774f869f155416786b36bccd4d84b01.png
[20190805114255229.png]: /images/20211122/5c10f7fa2240435aafea0773d78908ab.png
[2019080511430612.png]: /images/20211122/1b254dfccc6d4ab2be37971023f1fa8d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 5]: /images/20211122/7191e3ee1ba04512b56ed10ef588a3c8.png
[20190805150307318.png]: /images/20211122/94b99d75a72b423482f43d41664ab587.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 6]: /images/20211122/c8fa8c8e3bcb4cd2915f22f58189816c.png
[20190805151421178.png]: /images/20211122/45bc46154ffc462fbede8f0ec4bc198e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 7]: /images/20211122/0265fb5aa47f4247b8801301a7a6919f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 8]: /images/20211122/da468531e60e409794a544d89120787c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 9]: /images/20211122/072f1c3fc4d040bd8884d2b8803869fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 10]: /images/20211122/c7051ef6ba4d4880a561fce01ef85aee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 11]: /images/20211122/183b55cc46294bb8940f68e84f330c37.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 12]: /images/20211122/f1de35bb03594e0ab1be70891f75c1a2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 13]: /images/20211122/93449d325d884e0c8528f0ba8148fe73.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 14]: /images/20211122/af1032af92cb4b029ab6ad2848379055.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 15]: /images/20211122/98c82b8fc7b54cdfb08a3c0a5b57c29c.png