AI入门：分类函数

爱被打了一巴掌 2022-12-27 08:39 127阅读 0赞

分类函数是用于神经网络最后一层输出用的。神经网络的输出无非是二分类或者多分类。其中二分类使用Sigmoid函数，多分类使用Softmax函数。

如果我们用1表示考试及格，0表示不及格。那么60分和100分都是及格，所以我们预测结果都是1。但显然100分更好。对于这样的情况，我们需要把结果用Sigmoid函数处理一下，得到01之间的一个概率值。当结果是00.5时，我们认为是0；0.5~1时，我们认为是1。而我们不仅仅是希望得到0或者1，我们更希望用Sigmoid函数处理得到的结果更加接近0或者1。

对于Softmax函数来说也是一样。所有的可能之和为1，我们就把可能性最大的那个情况输出即可。例如对于MNIST数据集中的一个数据进行预测，十个结果分别是0.50, 0.30, 0.10, 0.01, 0.01, 0.01, 0.01, 0.01, 0.01, 0.04，我们就认为被检测的图片表示数字0。但是这个结果的准确性可能就不会太好，因为输出结果中还有0.30这样比较大的数据，说明神经网络自己也不太确信这个结果表示数字0。我们也希望十个结果中，有一个结果非常接近1，其它结果都非常接近0。

分类函数是神经网络的最后一层。确切的说，分类函数是神经网络正向传播的最后一层，根据分类函数的结果，我们就可以进行预测了。但是没有训练的神经网络的预测效果是非常差的，我们该怎么进行训练呢？请看下一节：反向传播。

AI入门：反向传播  
上一节中提到，分类函数是神经网络正向传播的最后一层。但是如果要进行训练，我们只有预测结果是不够的，我们需要拿预测结果跟真实值进行对比，根据对比结果判断我们的神经网络是不是够好。  
也就是说我们需要在分类函数后面增加一层：计算损失值。计算损失值这一次才是神经网络真正的最后一层。有了损失值之后，我们反过来优化每一层的参数值。这就是反向传播。

反向传播比较复杂，这里我也说不清，我就不说了。现在有很多机器学习软件框架都已经实现好了反向传播的功能。例如TensorFlow、PyTorch等。

总之，我们需要知道的是，反向传播是整个神经网络得以优化的前提。至此，我们介绍了一个最简单的神经网络的结构。下图就是该网络的结构。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dhbmdlaWwwMDc_size_16_color_FFFFFF_t_70]  
注：第一节中的两段代码对应的函数都是确定的，所以我们只是为了让x达到某个值，使y达到最小值。这个过程中不需要计算损失值，所以也就不需要反向传播。但PyTorch实现的代码中使用backward()，这只是计算导数罢了，跟反向传播时自动优化参数无关。  
但是对于一个未知的函数，我们用神经网络去模拟该函数，则要用损失值去判断该网络对未知函数的拟合程度。损失值越小，拟合的越好，准确率就越高。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dhbmdlaWwwMDc_size_16_color_FFFFFF_t_70]: /images/20221120/afcbadf6d67f4c7b94e4d8db12c3f58a.png