神经网络学习笔记-01-基本概念

快来打我* 2022-07-11 12:27 199阅读 0赞

# 神经网络学习笔记-01-基本概念 #

## 基本概念 ##

*  Artificial Neural Network - 基于神经元的计算方向。  
    一个人工神经网络系统一般包含多个层，每层包含多个神经元（也称为节点）。
 *  第一层是输入层。  
    基本上没有什么计算功能，主要是将输入数据映射到每个节点上。
 *  中间的层次为隐藏层。  
    每层都会有一个输出，包含了本层每个节点的输出数据。  
    每层的输出数据，也是下一层的输入数据。  
    每层的每个节点会对输入数据分别计算,产生不同的计算结果。
 *  最后一层是输出层。  
    输出层的每个节点对应一个分类，计算这个分类的概率。最终输出概率最高的分类。

> 即使百万级的神经单元，也只相当于一只蠕虫的计算能力。

*  Predication Function - 预测函数。  
    机器学习的结果就是找到这个预测函数。  
    在分类问题中，就是找到预测函数的权值(w,b)。
 *  Activation Function - 激活函数  
    神经网络中的一个重要概念。原意是模拟大脑神经元是否激活。  
    在神经网络设计中，其作用是：转换神经元的权值输出值为神经元的输出值。  
    通俗的理解：权值输出值\\(f(x) = wx + b\\)的结果是\\(x\\)在\\(f(x)\\)上的值，这个不是我们要的分类结果。  
    激活函数\\(K\\)的作用是将计算\\(y = K(f(x))\\)，将**权值输出值**转换为**分类值**。  
    下面是常用的激活函数：
 *  For the hidden layer
    
     *  TanH
     *  sigmoid
     *  ReLUs
 *  For the output layer
    
     *  softmax
 *  Forward Propagation - 正向传播  
    在训练过程中，通过输入数据产生输出数据。
 *  Back Propagation - 反向传播  
    在训练过程中，根据计算结果和期望结果的偏差，重新调整各个神经元的权值。  
    这个方面有很多算法可以选择。
 *  Regularization - 正规化  
    一种避免多度训练（overfitting）的方法。多度训练会导致训练结果对噪音数据过度敏感。  
    理论上来说，对当前的预测函数，根据它的复杂度，计算一个惩罚值。通过惩罚值来调整预则函数的权值。
 *  Gradient Descent - 梯度下降  
    反向传播中，用于调整权值的一个概念，表示计算调整的方向和大小。
 *  Loss Function - 损失函数  
    在分类问题中，一种计算方法，计算因不准确预测而导致的代价。

## 训练过程 ##

*  初始化 -> （正向传播 -> 反向传播 -> 正规化 -> 梯度下降 -> 重复训练）

人话就是：  
初始化: 随便产生个预测函数（w b）。  
正向传播：先算一下。  
反向传播: 有偏差（废话）。  
正规化: 让偏差变得好看点。  
梯度下降：把预测函数（w b）向偏差的方向挪一下。  
重复训练：把上面的过程来上500遍。

## 神经网络示意图 ##

Neural NetworkHidden LayerOutput LayerDataInput LayerOutput(x\_1,...,x\_i)mapjx1\_j....2x1\_21x1\_1x1\_j...x1\_2x1\_1(x1\_1,...,x1\_j)na1\_n....3a1\_32a1\_21a1\_1(a1\_1,...,a1\_n)mp(y\_m)....1p(y\_1)yargmax

## 参照 ##

*  Artificial neural network