利用caffe pre-trained model进行图像分类

超、凢脫俗 2021-07-17 00:22 382阅读 0赞

本人主要分析如何利用caffe pre-trained model进行图像分类  
caffe的examples中给出了该任务的具体程序，想要了解该过程，只要阅读[该程序][Link 1]即可

# Setup #

## 配置python环境，导入numpy，并对显示部分进行设置 ##

# set up Python environment: numpy for numerical routines, and matplotlib for plotting
    import numpy as np
    import matplotlib.pyplot as plt
    # display plots in this notebook
    %matplotlib inline
    
    # set display defaults
    plt.rcParams['figure.figsize'] = (10, 10)        # large images
    plt.rcParams['image.interpolation'] = 'nearest'  # don't interpolate: show square pixels
    plt.rcParams['image.cmap'] = 'gray'  # use grayscale output rather than a (potentially misleading) color heatmap

## 导入caffe（其实是pycaffe） ##

# The caffe module needs to be on the Python path;
    # we'll add it here explicitly.
    import sys
    caffe_root = '../'  # this file should be run from {caffe_root}/examples (otherwise change this line)
    sys.path.insert(0, caffe_root + 'python')
    
    import caffe
    # If you get "No module named _caffe", either you have not built pycaffe or you have the wrong path.

## 下载models ##

下面，判断caffe\_root路径下的models路径下，是否有caffemodel存在，如果不存在，则利用caffe\_root下的scripts文件夹中的download\_model\_binary.py文件下载该caffe model  
e.g., caffenet的caffemodel的名称为：bvlc\_reference\_caffenet.caffemodel，置于caffe\_root路径下的models路径下的bvlc\_reference\_caffenet文件夹下（models/bvlc\_reference\_caffenet/bvlc\_reference\_caffenet.caffemodel）

<table> 
 <thead> 
  <tr> 
   <th>caffe_root</th> 
   <th align="center">二级目录</th> 
   <th align="right">三级目录/文件</th> 
   <th align="right">四级目录/文件</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td></td> 
   <td align="center">/models</td> 
   <td align="right">/bvlc_reference_caffenet</td> 
   <td align="right">/bvlc_reference_caffenet.caffemodel</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td align="center">/scripts</td> 
   <td align="right">/download_model_binary.py</td> 
   <td align="right"></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td align="center">/exampes</td> 
   <td align="right">/当前运行的程序</td> 
   <td align="right"></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td align="center">/python</td> 
   <td align="right">/caffe</td> 
   <td align="right">/imagenet/…</td> 
  </tr> 
 </tbody> 
</table>

\-‘../’即表示当前运行程序的上一级目录，以上表为例，记为caffe\_root文件夹

# 导入model，并且进行预处理 #

## 从硬盘中读入net ##

# 设置caffe的模式，这里设置为CPU模式
    caffe.set_mode_cpu()
    
    # caffenet的网络结果prototxt文件
    model_def = caffe_root + 'models/bvlc_reference_caffenet/deploy.prototxt'
    
    # caffenet的pre-trained model，即caffenet的整个训练好的模型参数
    model_weights = caffe_root + 'models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel'
    
    # 从硬盘中读入caffenet
    net = caffe.Net(model_def,      # defines the structure of the model
                    model_weights,  # contains the trained weights
                    caffe.TEST)     # use test mode (e.g., don't perform dropout)

## 设置预处理transformer ##

# load the mean ImageNet image (as distributed with Caffe) for subtraction mu = np.load(caffe_root + 'python/caffe/imagenet/ilsvrc_2012_mean.npy') mu = mu.mean(1).mean(1) # average over pixels to obtain the mean (BGR) pixel values print 'mean-subtracted values:', zip('BGR', mu) # create transformer for the input called 'data' transformer = caffe.io.Transformer({ 'data': net.blobs['data'].data.shape}) transformer.set_transpose('data', (2,0,1)) # move image channels to outermost dimension transformer.set_mean('data', mu) # subtract the dataset-mean value in each channel transformer.set_raw_scale('data', 255) # rescale from [0, 1] to [0, 255] transformer.set_channel_swap('data', (2,1,0)) # swap channels from RGB to BGR

caffenet在traning图像时，对training images进行了一些预处理，那么，为了能够利用该pre-trained model对新的图像进行分类，必须要对new image进行preprocessing，在该程序中，利用了caffe.io.Transformer  
具体地代码如下，下面对该代码进行简单解释（没有完全理解，但会逐步改进）

### 导入imagenet数据的所有图像的均值 ###

![imagenet数据集所有图像的均值][imagenet]

这里的ilsvrc\_2012\_mean.npy文件时numpy的数据文件，类型为

### 创建transformer ###

该transformer的主要作用是  
（1）对读取到的图像所对应的array的维度进行转换  
想要识别图像，需要利用python读取图像，python读取的图像格式为：图像的高、图像的宽、图像的channel  
为了适应caffe的数据格式，需要将其转化为：图像的channel、图像的高、图像的宽  
（2）输入图像的每个channel的所有像素值都减去imagenet数据库中的所有图像的三个channel的均值，即mu  
（3）对测试图像进行rescale，python中的图像像素值为\[0,1\]，为了利用caffe model，需要将该图像像素值变回\[0,255\]  
（4）对输入图像的三个通道顺序进行变换，普通的图像都是R-G-B，但caffe在处理RGB图像时，将其变换为B-G-R

# 导入图像，进行分类 #

## 设置net的输入shape ##

# set the size of the input (we can skip this if we're happy
    #  with the default; we can also change it later, e.g., for different batch sizes)
    net.blobs['data'].reshape(50,        # batch size
                              3,         # 3-channel (BGR) images
                              227, 227)  # image size is 227x227

## load image, 并利用transformer进行预处理 ##

# 利用load_iamge从硬盘中导入图像，得到的image是一个(360, 480, 3)的ndarray
    image = caffe.io.load_image(caffe_root + 'examples/images/cat.jpg')
    # 对该图像进行preprocessing，得到ndarray的形状为(3, 227, 227)
    transformed_image = transformer.preprocess('data', image)
    print transformed_image.shape
    # 显示该图像
    plt.imshow(image)

## 利用网络对该输入的图像进行分类 ##

# 将preprocessed的图像复制到分配给改net的内存中
    net.blobs['data'].data[...] = transformed_image
    
    # 计算网络输出，它是一个dict，key-prob对应的即为该输入图像的prob数值
    output = net.forward()
    
    # 从dict中取出该输入图像对应的prob向量，它的尺度为(1000,) 
    output_prob = output['prob'][0]  # the output probability vector for the first image in the batch
    
    print 'predicted class is:', output_prob.argmax()

输入的是一副cat，该段程序运行结果为：

> predicted class is: 281

## 找到prob最大的那个位置所对应的label ##

# 导入imagenet数据集的label文件
    
    # 判断该label文件是否存在，如果不存在，则下载该文档
    if not os.path.exists(labels_file):
        !../data/ilsvrc12/get_ilsvrc_aux.sh
    
    # 从txt文件中导入lables，它是一个(1000,)的ndarray
    labels = np.loadtxt(labels_file, str, delimiter='\t')
    
    print 'output label:', labels[output_prob.argmax()]

结果为

> output label: n02123045 tabby, tabby cat

## 查看5-top 预测结果 ##

# sort top five predictions from softmax output
    top_inds = output_prob.argsort()[::-1][:5]  # reverse sort and take five largest items
    
    print 'probabilities and labels:'
    zip(output_prob[top_inds], labels[top_inds])

结果如下：

> probabilities and labels:  
> Out\[27\]:  
> \[(0.31243625, ‘n02123045 tabby, tabby cat’),  
> (0.23797157, ‘n02123159 tiger cat’),  
> (0.12387245, ‘n02124075 Egyptian cat’),  
> (0.10075716, ‘n02119022 red fox, Vulpes vulpes’),  
> (0.070957333, ‘n02127052 lynx, catamount’)\]

[Link 1]: https://github.com/BVLC/caffe/blob/master/examples/00-classification.ipynb
[imagenet]: /images/20210716/8b9c8d9475e0470b9ab453bb81eed298.png