MXNet自定义目标函数

本是古典何须时尚 2022-08-21 04:19 177阅读 0赞

自定义目标函数是深度学习应用中经常需要的操作。MXNet中可以直接使用Python+Numpy定义新的目标函数，比较方便。下面简单举个例子。

## 目标 ##

由于手头上的训练集有些样本没有标注（没有标注的label设定为-1），在进行linear regression的时候想去掉这些标注，注意，这里不是去掉样本，只是做back propogation的时候对这些标注的error 返回为0 （即相应返回的gradient为0）。因此需要实现一个自定义的loss layer。

## loss layer定义 ##

loss layer的定义包括几个工作：

1.  继承operator.NumpyOp类
2.  定义方法：list\_argument, list\_output。这里由于是loss layer,输入就是data 和label，输出是output。无需改变。
3.  infer\_shape 方法：定义label和data数组的shape，代码里有相应的注释。这里读者可能会问，为什么还要定义呢？不是输入的label和data已经有了吗？考虑这样一个问题：对于softmax, 做1000类分类，虽然输入的维度是1000，可是输出的维度是1。而对于1000维的线性回归问题，输入1000，输出也是1000。因此需要在代码里手动定义。
4.  定义forward和backward方法。这里就是实现目标函数逻辑的部分了。需要注意的是输入参数的含义。下面代码的注释里给出了每个参数具体的说明。

class LinearRegMissingLabel(mx.operator.NumpyOp):
        def __init__(self):
            super(LinearRegMissingLabel, self).__init__(False)
    
        def list_arguments(self):
            return ['data', 'label']
    
        def list_outputs(self):
            return ['output']
    
        def infer_shape(self, in_shape):
            '''in_shape is a list of two elements: data (batch size x ndim) label (batch size x ndim)'''
            ''' Our label is a vector of integers, one vector for each data entry,'''
            ''' Our output has the same shape as input. Infer_shape should always '''
            '''return two lists, even if one of them is empty.'''
            data_shape = in_shape[0]
            label_shape = in_shape[1]
            output_shape = in_shape[0]
            return [data_shape, label_shape], [output_shape]
    
        def forward(self, in_data, out_data):
            '''identity output'''
            x = in_data[0]
            y = out_data[0]
            y[:] = x
    
    
        def backward(self, out_grad, in_data, out_data, in_grad):
            '''in_data is a list with length=2'''
            '''in_data[0] is data from the input layer (batch size x ndim)'''
            '''in_data[1] is data from label (batch size x ndim)'''
            '''out_data[0] is what we get from forward len(out_data)=1 because we only have one output'''
            '''in_grad is the gradient that we propagate'''
            '''remeber to use [:] when assigning the value to dx'''
    
            l = in_data[1]
            y = out_data[0]
            dx = in_grad[0]
            dx[:] = 2*(y-l)
            dx[np.where(l==-1)] = 0

## loss layer 调用 ##

只需在symbol定义的最后加上即可，代码

fc1 = mx.symbol.FullyConnected(data=flatten, num_hidden=num_label,name='fc1')
    missing_label = LinearRegMissingLabel()
    loss = missing_label(data=fc1, name='attribute')

## 模型训练和加载 ##

在symbol定义那里调用loss layer，模型可以如常训练。可是加载的时候需要注意，因为目前版本的MXNet对纯Python+Numpy定义的layer支持还不是很好（详见[这个网页][Link 1]）。直接load训练好的模型会出错，按开发者们的话模型存储的时候“it is hard to store the numpy object during serialization”。因此，在加载模型的jason文件会报错。这里，我们可以通过以下方法解决。

1.  新建一个symbol变量，网络结构与之前的一样（之前怎么建symbol的现在就怎么建，如果仅作测试而非训练，可把loss layer去掉）  
    2.对于训练好的模型，MXNet 会将其参数存储在一个\*.params.文件. 使用mxnet.nd.load() 加载这个文件。
2.  新建一个model，传入上述两步生成的symbol变量和参数。对测试数据进行predict.  
    代码如下：

symbol =inception.get_symbol()
    # get internals from model's symbol
    internals = symbol.get_internals()
    parameter = mx.nd.load('../model/prefix-0010.params')
    
    #remove the "aug:" or "aux:" in the dictionary key
    parameter = dict((key[4:], value) for (key, value) in parameter.items())
    extractor = mx.model.FeedForward(ctx = mx.gpu(),symbol = internals['outputlayername_output'],
                                              arg_params = parameter,aux_params = parameter,
                                              allow_extra_params = True)
    
    #predict
    
    pred = extractor.predict(data_val)

[Link 1]: https://github.com/dmlc/mxnet/issues/948