机器学习入门课程学习笔记（斯坦福吴恩达）（上篇）

蔚落 2022-09-01 13:55 384阅读 0赞

### 文章目录 ###

*  一、简介
 *   *  1.1 什么机器学习
     *  1.2 监督学习（Supervised Learning）
     *  1.3 非监督学习（Unsupervised Learning）
 *  二、 模型和代价函数（Model and Cost Function）
 *   *  2.1 模型描述（Model Representation）
     *  2.2 代价函数（Cost Function）
     *  2.3 梯度下降（Gradient Descent）
 *  三、线性代数
 *   *  3.1 矩阵和向量
     *  3.2 矩阵的加法和标量乘法（Addition and Scalar Multiplication）
     *  3.2 矩阵与向量相乘（Matrix-vector Multiplication）
     *  3.3 矩阵与矩阵相乘（Matrix-matrix Multiplication）
     *  3.4 矩阵乘法的性质（Matrix Multiplication Properties）
     *  3.5 矩阵的逆和转置（Inverse and Transpose）
 *  四、多元线性回归（Multivariate Linear Regression）
 *   *  4.1 多个特征（Multiple features）
     *  4.2 多元线性回归中的梯度下降
     *  4.3 梯度下降实战-特征缩放（Feature Scaling）
     *  4.4 梯度下降实战-学习率（Learning Rate）
     *  4.5 特征和多项式回归（Features and Polynomial Regression）
     *  4.6 正规方程（Normal Equation）
     *  4.7 正规方程不可逆（Normal Equation Noninvertibility）
 *  五、Octave教程
 *  六、逻辑回归
 *   *  6.1 分类问题（Classification）
     *  6.2 Hypothesis Representation
     *  6.3 决策边界（Decision Boundary）
     *  6.4 逻辑回归的代价函数
     *  6.5 简化代价函数和梯度下降（Simplified Cost Function and Gradient Descent ）
     *  6.6 高级优化（Advanced Optimization）
     *  6.7 多分类问题：一对多（Multiclass Classification: One-vs-all）
 *  七、解决过拟合问题
 *   *  7.1 过拟合问题
     *   *  理解高偏差和高方差
     *  7.2 包含正则化的代价函数
     *  7.3 正则化的线性回归（Regularized Linear Regression）
     *  7.4 正则化的逻辑回归（Regularized Logistic Regression）
 *  八、神经网络（Neural Networks）
 *   *  8.1 非线性假设（Non-linear Hypotheses）
     *  8.2 神经和大脑（Neurons and the Brain）
     *  8.3 模型表示（Model Representation）
     *  8.4 样例1（Examples and Intuitions）
     *  8.5 多分类问题（Multiclass Classification）
 *  九、神经网络（二）
 *   *  9.1 代价函数
     *  9.2 反向传播算法（Backpropagation Algorithm）
     *  9.5 梯度检测
     *  9.6 随机初始化
     *  9.7 神经网路总结

# 一、简介 #

## 1.1 什么机器学习 ##

**机器学习的定义**：一个计算机程序可从经验E（Experience）中学习如何完成任务T（Task），并且随着经验E的增加，性能指标P （performance measure）会不断提高

**机器学习的分类**：

*  **监督学习（Supervised Learning）**：给定一个数据集，该数据集包含输出结果（标签），程序通过学习，来给输入数据打标签。例如：喂给程序n张动物图片，并且告知它每张图片是什么动物，程序经过学习后，喂给程序一张未打标签的图片，让程序判断这是什么动物
 *  **非监督学习（Unsupervised Learning）**：与监督学习正好相反。给定一个数据集，但不给出每个数据集的输出，让程序自己去给数据集进行分类。例如：给定一组基因数据，根据给定的变量（如寿命，地理位置等），自动将其进行分组。

## 1.2 监督学习（Supervised Learning） ##

给定一个数据集，该数据集包含输出结果（标签），程序通过学习，来给输入数据打标签。例如：喂给程序n张动物图片，并且告知它每张图片是什么动物，程序经过学习后，喂给程序一张未打标签的图片，让程序判断这是什么动物

**监督学习问题的分类**：

*  **分类问题（Classification Problem）**：预测的结果是离散值。例如：要预测一张动物照片属于猫、狗或其它等。
 *  **回归问题（Regression Problem）**：预测的结果是连续值。例如：预测房屋的价格，结果可以是10000,10001, …

## 1.3 非监督学习（Unsupervised Learning） ##

给定一个数据集，但是并不会告诉机器“每个数据集是什么”，然后让机器自己去对这个数据集进行分类。比如给定一组衣服尺寸数据，通过机器学习，将衣服分成“大”、“中”、“小”三类，训练好模型后，再给定一个衣服尺寸数据，机器就可以识别出这是大号还是中号或小号。

# 二、 模型和代价函数（Model and Cost Function） #

## 2.1 模型描述（Model Representation） ##

*   m m m ：训练数据集的样本数量
 *   x ( i ) x^\{(i)\} x(i)：第  i i i 个样本的输入（特征）
 *   y ( i ) y^\{(i)\} y(i): 第  i i i 个样本的输出（目标值）
 *   ( x ( i ) , y ( i ) ) (x^\{(i)\}, y^\{(i)\}) (x(i),y(i))：第  i i i 个样本
 *   θ 0 , θ 1 , θ 2 , … \\theta\_0,\\theta\_1,\\theta\_2,\\dots θ0,θ1,θ2,… ：要训练的参数
 *   h θ ( x ) h\_\\theta(x) hθ(x) 或  h ( x ) h(x) h(x)：训练出的模型（函数）

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70]

## 2.2 代价函数（Cost Function） ##

代价函数是用来描述“当前模型预测的精确程度”，一般来说，代价函数的值越大，预测的值越不精准，所以，我们优化模型的其中一个目标就是使代价函数尽可能的小

代价函数表示方法不唯一，通常使用以下表示方法：

J ( θ ) = 1 2 m ∑ i = 1 m ( y ^ i − y i ) 2 = 1 2 m ∑ i = 1 m ( h θ ( x i ) − y i ) 2 J(\\theta) = \\frac\{1\}\{2m\} \\sum\_\{i=1\}^\{m\}(\\hat\{y\}\_i-y\_i)^2 = \\frac\{1\}\{2m\} \\sum\_\{i=1\}^\{m\}(h\_\\theta(x\_i)-y\_i)^2 J(θ)=2m1i=1∑m(y^i−yi)2=2m1i=1∑m(hθ(xi)−yi)2

**公式解释：**

*   J ( θ ) J(\\theta) J(θ)：代价函数，其中  θ \\theta θ 为当前的模型参数。目标就是不断优化参数  θ \\theta θ 来使代价函数的值变小
 *   ( y ^ i − y i ) 2 (\\hat\{y\}\_i-y\_i)^2 (y^i−yi)2： y ^ \\hat\{y\} y^ 为预测的值， y y y 为实际值。使用预测的值减去实际值，来求得误差值。**加平方**有两个原因：①消除负号 ②方便求导（如果使用绝对值会不方便求导）
 *   1 2 m \\frac\{1\}\{2m\} 2m1 ： 除以  m m m 是为了求平均。除以2为了方便求导，因为求导后，2次方会正好把这个2消掉

## 2.3 梯度下降（Gradient Descent） ##

梯度下降是用来找出**当 θ \\theta θ 取何值时， J ( θ ) J(\\theta) J(θ) 取“最小值”** 。

核心思想：**对  J ( θ ) J(\\theta) J(θ) 进行求导，算出当前 J ( θ ) J(\\theta) J(θ)的方向， 然后向着 J ( θ ) J(\\theta) J(θ)减小的方向移动  θ \\theta θ，直到 θ \\theta θ 趋于0**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 1]

**梯度下降算法伪代码**：  
 r e p e a t    u n t i l    c o n v e r g e n c e    \{          θ j   : =   θ j − α ∂ ∂ θ j J ( θ 0 , θ 1 )      ( f o r    j = 0   a n d   j = 1 ) \} \\begin\{aligned\} &repeat~~until ~~convergence ~~\\\{ \\\\ &~~~~~~~~ \\theta\_j ~:=~ \\theta\_j - \\alpha\\frac\{\\partial\}\{\\partial \\theta\_j\} J(\\theta\_0, \\theta\_1) ~~~~(for~~ j=0 ~ and ~ j=1)\\\\ &\\\} \\end\{aligned\} repeat  until  convergence  \{         θj := θj−α∂θj∂J(θ0,θ1)    (for  j=0 and j=1)\}

**解释**：

*  `:=`：赋值操作。在其他语言中，一般使用`=`，而非`:=`
 *  **repeat until convergence**：重复直到收敛为止。不断重复括号里的操作，直到  θ j \\theta\_j θj 收敛于某一值，也就是  J ( θ 0 , θ 1 ) J(\\theta\_0, \\theta\_1) J(θ0,θ1) 趋近于0
 *   θ j   : =   θ j − α ∂ ∂ θ j J ( θ 0 , θ 1 ) \\theta\_j ~:=~ \\theta\_j - \\alpha\\frac\{\\partial\}\{\\partial \\theta\_j\} J(\\theta\_0, \\theta\_1) θj := θj−α∂θj∂J(θ0,θ1) ： α \\alpha α为一指定常数，称为**学习率（learning rate）**。每次  θ j \\theta\_j θj 向  J ( θ 0 , θ 1 ) J(\\theta\_0, \\theta\_1) J(θ0,θ1) 减小的方向移动一点
 *   ( f o r    j = 0   a n d   j = 1 ) (for~~ j=0 ~ and ~ j=1) (for  j=0 and j=1) :  j j j 为  θ \\theta θ 的下标，在该例中，有两个需要学习的参数，所以需要对  θ 0 \\theta\_0 θ0 和  θ 1 \\theta\_1 θ1 都做上面这个操作

C o r r e c t : S i m u l t a n e o u s   u p d a t e t e m p 0 = θ 0 − α ∂ ∂ θ 0 J ( θ 0 , θ 1 ) t e m p 1 = θ 1 − α ∂ ∂ θ 1 J ( θ 0 , θ 1 ) θ 0 : = t e m p 0 θ 1 : = t e m p 1 \\begin\{aligned\} &Correct: Simultaneous~ update \\\\ & temp0 = \\theta\_0 - \\alpha\\frac\{\\partial\}\{\\partial \\theta\_0\} J(\\theta\_0, \\theta\_1) \\\\ & temp1 = \\theta\_1 - \\alpha\\frac\{\\partial\}\{\\partial \\theta\_1\} J(\\theta\_0, \\theta\_1) \\\\ & \\theta\_0 := temp0 \\\\ & \\theta\_1 := temp1 \\\\ \\end\{aligned\} Correct:Simultaneous updatetemp0=θ0−α∂θ0∂J(θ0,θ1)temp1=θ1−α∂θ1∂J(θ0,θ1)θ0:=temp0θ1:=temp1

> **需要注意**： θ 0 \\theta\_0 θ0 和  θ 1 \\theta\_1 θ1 要同时更新，他们都更新后才能进入下一轮循环。

**学习率  α \\alpha α**：学习率决定每次移动的步长

*  学习率太小：如果学习率太小，每次移动的就会太少。要找出最低点，就会需要循环更多次。![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 2]
 *  学习率太大：如果学习率太大，每次移动的步长太大，可能会导致无法收敛，甚至可能会发散。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 3]

# 三、线性代数 #

## 3.1 矩阵和向量 ##

**矩阵（Matrix）**：矩形的一组数字类型的数组，一般用大写字母表示。例如：  
 A = \[ 123 444 454 1238 4264 1128 \] A=\\begin\{bmatrix\} 123 & 444 \\\\ 454 & 1238 \\\\ 4264 & 1128 \\\\ \\end\{bmatrix\} A=⎣⎡123454426444412381128⎦⎤

**矩阵的维度（Dimension of matrix）**：矩阵是一个二维数组，维度用  行 数 × 列 数 行数\\times 列数 行数×列数 表示。例如，上面这个矩阵维度为  3 × 2 3\\times 2 3×2，记作  R 3 × 2 \\reals^\{3\\times 2\} R3×2

**矩阵的元素（Matrix Elements ( entries of matrix )）**： A i j A\_\{ij\} Aij 表示矩阵  A A A 中的第  i i i 行 第  j j j 列的元素。例如， A 11 = 123 A\_\{11\}=123 A11=123 ， A 32 = 1128 A\_\{32\}=1128 A32=1128

--------------------

**向量（Vector）**：一个  n × 1 n\\times 1 n×1 的矩阵就是一个向量，一般用小写字母表示。例如：  
 y = \[ 213 54 314 \] y = \\begin\{bmatrix\} 213 \\\\ 54 \\\\ 314 \\\\ \\end\{bmatrix\} y=⎣⎡21354314⎦⎤

**向量的元素**： y i y\_i yi 表示向量的第  i i i 个元素。例如  y 2 = 54 y\_2=54 y2=54

## 3.2 矩阵的加法和标量乘法（Addition and Scalar Multiplication） ##

**矩阵的加法（Matrix Addition）**：两个矩阵相加得到一个新的矩阵。做法为**对应元素相加**，要求**两个矩阵维度必须一样**，要不然没法对应元素相加。例如：  
 \[ 1 0 2 5 3 1 \] + \[ 4 0.5 2 5 0 1 \] = \[ 5 0.5 4 10 3 2 \] \\begin\{bmatrix\} 1 & 0 \\\\ 2 & 5 \\\\ 3 & 1 \\\\ \\end\{bmatrix\} + \\begin\{bmatrix\} 4 & 0.5 \\\\ 2 & 5 \\\\ 0 & 1 \\\\ \\end\{bmatrix\} = \\begin\{bmatrix\} 5 & 0.5 \\\\ 4 & 10 \\\\ 3 & 2 \\\\ \\end\{bmatrix\} ⎣⎡123051⎦⎤\+⎣⎡4200.551⎦⎤=⎣⎡5430.5102⎦⎤

**标量乘法（Scalar Multiplication）**: **矩阵乘以一个数**得到一个新的矩阵，做法为**每个元素都乘以该数**。例如：  
 3 × \[ 1 0 2 5 3 1 \] = \[ 3 0 6 15 9 3 \] 3 \\times \\begin\{bmatrix\} 1 & 0 \\\\ 2 & 5 \\\\ 3 & 1 \\\\ \\end\{bmatrix\} = \\begin\{bmatrix\} 3 & 0 \\\\ 6 & 15 \\\\ 9 & 3\\\\ \\end\{bmatrix\} 3×⎣⎡123051⎦⎤=⎣⎡3690153⎦⎤

## 3.2 矩阵与向量相乘（Matrix-vector Multiplication） ##

**矩阵与向量相乘（Matrix-vector Multiplication）**：矩阵乘以向量然后得到一个新的向量，做法为**矩阵的每一个行的元素与向量元素对应相乘再相加**。要求**矩阵列的维度要和向量维度一致**。例如：  
 \[ 1 3 4 0 2 1 \] \[ 1 5 \] = \[ 1 × 1 + 3 × 5 4 × 1 + 0 × 5 2 × 1 + 1 × 5 \] = \[ 16 4 7 \] \\begin\{bmatrix\} 1 & 3 \\\\ 4 & 0 \\\\ 2 & 1\\\\ \\end\{bmatrix\} \\begin\{bmatrix\} 1 \\\\ 5 \\\\ \\end\{bmatrix\} = \\begin\{bmatrix\} 1\\times 1+3\\times 5\\\\ 4\\times1+ 0\\times5\\\\ 2\\times1+1\\times5\\\\ \\end\{bmatrix\} = \\begin\{bmatrix\} 16\\\\ 4\\\\ 7\\\\ \\end\{bmatrix\} ⎣⎡142301⎦⎤\[15\]=⎣⎡1×1\+3×54×1\+0×52×1\+1×5⎦⎤=⎣⎡1647⎦⎤

## 3.3 矩阵与矩阵相乘（Matrix-matrix Multiplication） ##

**矩阵与矩阵相乘（Matrix-matrix Multiplication）**：两个矩阵相乘得到一个新的矩阵，做法为**第1个矩阵的  i i i 行与第2个矩阵的  j j j 列对应元素相乘再相加作为结果矩阵的第 i i i行第 j j j列的元素**。要求**第一个矩阵的列数要与第二个矩阵的行数一致**。例如：  
 \[ 1 3 2 4 0 1 \] \[ 1 3 0 1 5 2 \] = \[ 1 × 1 + 3 × 0 + 2 × 5 1 × 3 + 3 × 1 + 2 × 2 4 × 1 + 0 × 0 + 1 × 5 4 × 3 + 0 × 1 + 1 × 2 \] = \[ 11 10 9 14 \] \\begin\{bmatrix\} 1 & 3 & 2\\\\ 4 & 0 & 1\\\\ \\end\{bmatrix\} \\begin\{bmatrix\} 1 & 3\\\\ 0 & 1\\\\ 5 & 2\\\\ \\end\{bmatrix\} = \\begin\{bmatrix\} 1 \\times 1+3\\times 0+2\\times 5 & 1\\times 3+3\\times 1+2\\times 2\\\\ 4\\times 1+0\\times 0+1\\times 5 & 4\\times 3+0\\times 1+1\\times 2\\\\ \\end\{bmatrix\} = \\begin\{bmatrix\} 11 & 10\\\\ 9 & 14 \\\\ \\end\{bmatrix\} \[143021\]⎣⎡105312⎦⎤=\[1×1\+3×0\+2×54×1\+0×0\+1×51×3\+3×1\+2×24×3\+0×1\+1×2\]=\[1191014\]

## 3.4 矩阵乘法的性质（Matrix Multiplication Properties） ##

*   A × B ≠ B × A A\\times B \\neq B\\times A A×B=B×A
 *   ( A × B ) × C = A × ( B × C ) (A\\times B) \\times C = A\\times (B \\times C) (A×B)×C=A×(B×C)
 *   n × n n\\times n n×n 的矩阵称为**方阵（square matrix）**
 *  **对角线全为1，其余全为0的方阵**称为**单位矩阵（identity matrix）**，记作  I I I 或  E E E 。 例如：  
     \[ 1 0 0 0 1 0 0 0 1 \] \\begin\{bmatrix\} 1 & 0 & 0\\\\ 0 & 1 & 0\\\\ 0 & 0 & 1\\\\ \\end\{bmatrix\} ⎣⎡100010001⎦⎤
 *   A ⋅ I = I ⋅ A = A A\\cdot I=I \\cdot A = A A⋅I=I⋅A=A

## 3.5 矩阵的逆和转置（Inverse and Transpose） ##

**逆矩阵（inverse matrix）**：**如果一个矩阵  A A A 为方阵，且存在矩阵  B B B，满足  A B = B A = I AB=BA=I AB=BA=I**，则称矩阵  B B B 为矩阵  A A A 的逆矩阵，记作  A − 1 A^\{-1\} A−1 。即  A A − 1 = A − 1 A = I AA^\{-1\} = A^\{-1\}A=I AA−1=A−1A=I

**逆矩阵的性质**：

*  只有方阵才有逆矩阵，且与逆矩阵维度相同
 *  不是所有矩阵都有逆矩阵

--------------------

**转置矩阵（transposed matrix）**：**如果一个  m × n m\\times n m×n 矩阵  A A A 和另一个  n × m n\\times m n×m 的矩阵  B B B ，满足  A i j = B j i A\_\{ij\} = B\_\{ji\} Aij=Bji**，则称  B B B 矩阵为 A A A矩阵的**转置矩阵**，记作  A T A^T AT 。 例如：  
 A = \[ 1 2 0 3 5 9 \]        则     A T = \[ 1 3 2 5 0 9 \] A = \\begin\{bmatrix\} 1 & 2 & 0 \\\\ 3 & 5 & 9 \\\\ \\end\{bmatrix\} ~~~~~~则 ~~~A^T = \\begin\{bmatrix\} 1 & 3 \\\\ 2 & 5 \\\\ 0 & 9 \\\\ \\end\{bmatrix\} A=\[132509\]      则   AT=⎣⎡120359⎦⎤

# 四、多元线性回归（Multivariate Linear Regression） #

## 4.1 多个特征（Multiple features） ##

**多元线性回归**：有多个特征的线性回归问题

**符号（Notation）**：

*   n n n ：表示特征的数量
 *   x ( i ) x^\{(i)\} x(i) ：第  i i i 个样本的输入
 *   x j ( i ) x\_j^\{(i)\} xj(i)：第  i i i 个样本的第  j j j 个特征的值

**多元线性回归方程**： h θ ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 + ⋯ + θ n x n h\_\\theta(x)=\\theta\_0 + \\theta\_1x\_1 +\\theta\_2x\_2 + \\cdots + \\theta\_nx\_n hθ(x)=θ0\+θ1x1\+θ2x2\+⋯\+θnxn

为了方便向量化，一般定义  x 0 = 1 x\_0=1 x0=1，同时记：  
 x = \[ x 0 x 1 x 2 ⋯ x n \] ∈ R n + 1             θ = \[ θ 0 θ 1 θ 2 ⋯ θ n \] ∈ R n + 1 x = \\begin\{bmatrix\} x\_0 \\\\ x\_1 \\\\ x\_2 \\\\ \\cdots \\\\ x\_n \\\\ \\end\{bmatrix\} \\in \\reals ^\{n+1\} ~~~~~~~~~~~ \\theta = \\begin\{bmatrix\} \\theta\_0 \\\\ \\theta\_1 \\\\ \\theta\_2 \\\\ \\cdots \\\\ \\theta\_n \\\\ \\end\{bmatrix\}\\in \\reals ^\{n+1\} x=⎣⎢⎢⎢⎢⎡x0x1x2⋯xn⎦⎥⎥⎥⎥⎤∈Rn\+1           θ=⎣⎢⎢⎢⎢⎡θ0θ1θ2⋯θn⎦⎥⎥⎥⎥⎤∈Rn\+1

则，**线性回归方程**为：  
 h θ ( x ) = θ 0 x 0 + θ 1 x 1 + θ 2 x 2 + ⋯ + θ n x n = θ T x \\begin\{aligned\} h\_\\theta(x) &=\\theta\_0x\_0 + \\theta\_1x\_1 +\\theta\_2x\_2 + \\cdots + \\theta\_nx\_n \\\\\\\\ &= \\theta^Tx \\end\{aligned\} hθ(x)=θ0x0\+θ1x1\+θ2x2\+⋯\+θnxn=θTx

## 4.2 多元线性回归中的梯度下降 ##

**假设（Hypothesis）**：  h θ ( x ) = θ T x = θ 0 x 0 + θ 1 x 1 + θ 2 x 2 + ⋯ + θ n x n h\_\\theta(x)= \\theta^Tx=\\theta\_0x\_0 + \\theta\_1x\_1 +\\theta\_2x\_2 + \\cdots + \\theta\_nx\_n hθ(x)=θTx=θ0x0\+θ1x1\+θ2x2\+⋯\+θnxn

**参数（Parameters）**：  θ = ( θ 0 , θ 1 , ⋯   , θ n ) T \\theta = (\\theta\_0, \\theta\_1, \\cdots, \\theta\_n)^T θ=(θ0,θ1,⋯,θn)T

**代价函数（Cost function）**:  J ( θ 0 , θ 1 , ⋯   , θ n ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 J(\\theta\_0, \\theta\_1, \\cdots, \\theta\_n) = \\frac\{1\}\{2m\}\\sum\_\{i=1\}^m(h\_\\theta(x^\{(i)\}) - y^\{(i)\})^2 J(θ0,θ1,⋯,θn)=2m1i=1∑m(hθ(x(i))−y(i))2

**梯度下降**： R e p e a t    \{         θ j : = θ j − α 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) x j ( i ) \} ( 注 意 要 同 时 更 新   θ j ，      j = 0 , 1 , ⋯   , n ) \\begin\{aligned\} &Repeat ~~\\\{ \\\\ & ~~~~~~~\\theta\_j := \\theta\_j - \\alpha \\frac\{1\}\{m\} \\sum\_\{i=1\}^m(h\_\\theta(x^\{(i)\}) - y^\{(i)\}) x\_j^\{(i)\} \\\\ &\\\} \\\\\\\\ & (注意要同时更新 ~\\theta\_j，~~~~j=0,1,\\cdots, n) \\end\{aligned\} Repeat  \{        θj:=θj−αm1i=1∑m(hθ(x(i))−y(i))xj(i)\}(注意要同时更新 θj，    j=0,1,⋯,n)

## 4.3 梯度下降实战-特征缩放（Feature Scaling） ##

**问题提出**： 若特征的量纲不一致，那么在进行梯度下降的时候，在量纲大的方向上下降过多，而在量纲小的方向下降过少。例如：

*   x 1 x\_1 x1 = 房屋面积 (0 - 2000 m2)
 *   x 2 x\_2 x2 = 房间数量 (0-5)

那么在进行梯度下降时，就会产生一个特别椭的椭圆。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 4]

**特征缩放（feature scaling）**：让每一个特征都缩放到  \[ − 1 , 1 \] \[-1, 1\] \[−1,1\] 之间，即  − 1 ≤ x i ≤ 1 -1\\le x\_i \\le 1 −1≤xi≤1

**特征缩放常用方法**（[参考资料][Link 1]）：

*  **均值归一化（Mean Normalization）** ：使用  x i − μ i x\_i - \\mu\_i xi−μi 替换  x i x\_i xi，使特征的均值约等于0。公式为：  x s c a l e = x − μ S x\_\{scale\} = \\frac\{x-\\mu\}\{S\} xscale=Sx−μ  
    其中,  μ \\mu μ 为  x x x 对应特征的平均值，S为特征的范围之差（max-min），S也可以使用标准差。

## 4.4 梯度下降实战-学习率（Learning Rate） ##

随着梯度下降迭代次数的增多， J ( θ ) J(\\theta) J(θ)也会越来越小，曲线大概如下图所示：  
![在这里插入图片描述][09adaae07e914d05bbc7326a7f55f0ca.png]

**梯度下降的收敛**：一般认为，当  J ( θ ) J(\\theta) J(θ) 在一次迭代后，减小的量小于  1 0 − 3 10^\{-3\} 10−3 ，则认为梯度下降已经收敛，可以退出循环了。

**学习率  α \\alpha α 的总结**：

*   **α \\alpha α 太小** ： 收敛的太慢
 *   **α \\alpha α 太大** ：可能会导致不收敛，甚至发散。即每次  J ( θ ) J(\\theta) J(θ) 不减反增

**学习率 α \\alpha α的选择**：一般先选择一个很小的数，然后逐渐增大进行尝试。例如： …, 0.001, 0.01, 0.1, 1, …

## 4.5 特征和多项式回归（Features and Polynomial Regression） ##

由于预测的模型不一定是直线  θ 0 + θ 1 x \\theta\_0+\\theta\_1x θ0\+θ1x，有可能是二次曲线、三次曲线、…

**多项式回归**：对一个特征，定义回归方程时，包含特征的高次方。  
 h θ ( x ) = θ 0 + θ 1 x + θ 2 x 2 + θ 3 x 3 + ⋯ h\_\\theta(x) = \\theta\_0 + \\theta\_1x + \\theta\_2x^2 + \\theta\_3x^3 + \\cdots hθ(x)=θ0\+θ1x\+θ2x2\+θ3x3\+⋯

对于多项式回归方程，处理方式为**将x的高次方当成其他特征进行处理**即可： x 1 = x    ,     x 2 = x 2    ,     x 3 = x 3    ,     . . . x\_1 = x ~~,~~~ x\_2 = x^2 ~~,~~~ x\_3 = x^3 ~~, ~~~ ... x1=x  ,   x2=x2  ,   x3=x3  ,   ...

除了定义高次方外，也可以定义其他次方，例如  
 h θ ( x ) = θ 0 + θ 1 x + θ 2 x 2 + θ 3 x h\_\\theta(x) = \\theta\_0 + \\theta\_1x + \\theta\_2x^2 + \\theta\_3\\sqrt\{x\} hθ(x)=θ0\+θ1x\+θ2x2\+θ3x

## 4.6 正规方程（Normal Equation） ##

多元线性回归的**正规方程**解：**不使用梯度下降法，而是通过数学公式，直接计算出  θ \\theta θ**

设有  m m m 个样本  ( x ( 1 ) , y ( 1 ) ) ， ( x ( 2 ) , y ( 2 ) ) ， ⋯   , ( x ( m ) , y ( m ) ) (x^\{(1)\},y^\{(1)\})， (x^\{(2)\},y^\{(2)\})，\\cdots, (x^\{(m)\},y^\{(m)\}) (x(1),y(1))，(x(2),y(2))，⋯,(x(m),y(m))，每个样本有  n n n 个特征，即：  
 x ( i ) = \[ x 0 ( i ) x 1 ( i ) x 2 ( i ) ⋯ x n ( i ) \] ∈ R n + 1          X = \[ ( x ( 1 ) ) T ( x ( 2 ) ) T ( x ( 3 ) ) T ⋯ ( x ( m ) ) T \] m × ( n + 1 ) x^\{(i)\} = \\begin\{bmatrix\} x\_0^\{(i)\} \\\\ x\_1^\{(i)\} \\\\ x\_2^\{(i)\} \\\\ \\cdots \\\\ x\_n^\{(i)\} \\\\ \\end\{bmatrix\} \\in \\R^\{n+1\} ~~~~~~~~X = \\begin\{bmatrix\} (x^\{(1)\})^T \\\\ (x^\{(2)\})^T \\\\ (x^\{(3)\})^T \\\\ \\cdots \\\\ (x^\{(m)\})^T \\\\ \\end\{bmatrix\}\_\{m\\times (n+1)\} x(i)=⎣⎢⎢⎢⎢⎢⎡x0(i)x1(i)x2(i)⋯xn(i)⎦⎥⎥⎥⎥⎥⎤∈Rn\+1        X=⎣⎢⎢⎢⎢⎡(x(1))T(x(2))T(x(3))T⋯(x(m))T⎦⎥⎥⎥⎥⎤m×(n\+1)

则，使得  J ( θ ) J(\\theta) J(θ) 最小的  θ \\theta θ 为：  
 θ = ( X T X ) − 1 X T y \\theta = (X^T X)^\{-1\} X^Ty θ=(XTX)−1XTy

**时间复杂度**：O(n3) ，n为特征数

--------------------

**梯度下降法与正规方程法的比较**：

<table> 
 <thead> 
  <tr> 
   <th>梯度下降法</th> 
   <th>正规方程法</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>需要考虑学习率 <span><span><span> α \alpha </span><span><span><span style="height: 0.43056em; vertical-align: 0em;"></span><span style="margin-right: 0.0037em;">α</span></span></span></span></span></td> 
   <td>不需要选择学习率</td> 
  </tr> 
  <tr> 
   <td>需要多次迭代</td> 
   <td>需需要迭代</td> 
  </tr> 
  <tr> 
   <td>适用于特征比较多的场景，即 n 比较大</td> 
   <td>不适用与特征多的场景</td> 
  </tr> 
 </tbody> 
</table>

## 4.7 正规方程不可逆（Normal Equation Noninvertibility） ##

在使用正规方程求解  θ \\theta θ 时，有可能出现  X T X X^TX XTX 没有逆矩阵的情况。

主要有以下情况：

1.当**特征中存在成比例的特征，则会导致不可逆**（会导致  ∣ X ∣ = 0 |X|=0 ∣X∣=0），例如：

*   x 1 x\_1 x1 = 房屋面积（m2）
 *   x 2 x\_2 x2 = 房屋面积 （亩）

解决方案：只保留一个

2.**特征太多了，导致  n ≥ m n\\ge m n≥m**

解决方案：删除部分特征，或使用正则化（regularization）

# 五、Octave教程 #

**略**，现在不用学这个了，直接用Numpy不香么

# 六、逻辑回归 #

## 6.1 分类问题（Classification） ##

**二分类问题**：分类结果只包含两种类别，使用  0 , 1 0,1 0,1 表示，即  y ∈ \{ 0 , 1 \} y\\in \\\{0,1\\\} y∈\{ 0,1\}。 其中 0 代表 **Negative Class**（例如良性肿瘤），1 代表 **Positive Class**（例如恶性肿瘤）。 具体0,1谁表示什么无所谓。

**只使用线性回归处理的弊端**：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 5]  
根据数据，得出以下模型：

*  如果  h θ ( x ) ≥ 0.5 h\_\\theta(x) \\ge 0.5 hθ(x)≥0.5 ，预测  y = 1 y=1 y=1
 *  如果  h θ ( x ) < 0.5 h\_\\theta(x) < 0.5 hθ(x)<0.5 ，预测  y = 0 y=0 y=0

但如果再增加一些极端的点，获得的模型就会如同下面蓝色线，这个模型显然不够好。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 6]  
而且，线性回归的  h θ ( x ) h\_\\theta(x) hθ(x) 可能  > 1 >1 >1 也可能  < 0 <0 <0

而逻辑回归满足： 0 ≤ h θ ( x ) ≤ 1 0 \\le h\_\\theta(x) \\le 1 0≤hθ(x)≤1

## 6.2 Hypothesis Representation ##

**逻辑回归是处理二分类问题的**

它需要使  0 ≤ h θ ( x ) ≤ 1 0 \\le h\_\\theta(x) \\le 1 0≤hθ(x)≤1

**逻辑回归模型的假设公式为：**  
 h θ ( x ) = g ( θ T x ) = 1 1 + e − θ T x       其 中 g ( z ) = 1 1 + e − z h\_\\theta(x) = g(\\theta^Tx) =\\frac\{1\}\{1+e^\{-\\theta^Tx\}\}~~~~~其中 g(z) = \\frac\{1\}\{1+e^\{-z\}\} hθ(x)=g(θTx)=1\+e−θTx1     其中g(z)=1\+e−z1

g ( z ) g(z) g(z) 被称为**Sigmoid Function**，其函数图像为：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 7]

h θ ( x ) h\_\\theta(x) hθ(x)的结果为**对于输入x，使得y=1的概率**，即  h θ ( x ) = P ( y = 1 ∣ x ; θ ) h\_\\theta(x) =P(y=1|x;\\theta) hθ(x)=P(y=1∣x;θ) 。例如： h θ ( x ( 1 ) ) = 0.7 h\_\\theta(x^\{(1)\}) = 0.7 hθ(x(1))=0.7，表示对于样本  x ( 1 ) x^\{(1)\} x(1)， y = 1 y=1 y=1的概率为0.7

## 6.3 决策边界（Decision Boundary） ##

**决策边界（Decision Boundary）**：**将数据分成两个类比的边界线**。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 8]  
例如，我们经过训练得到了一条决策边界： − 3 + x 1 + x 2 = 0 -3 + x\_1+x\_2 =0 −3\+x1\+x2=0

*  当样本  − 3 + x 1 + x 2 ≥ 0 -3 + x\_1+x\_2 \\ge 0 −3\+x1\+x2≥0 时， g ( − 3 + x 1 + x 2 ) ≥ 0.5 g(-3 + x\_1+x\_2) \\ge 0.5 g(−3\+x1\+x2)≥0.5 ， 预测为红X
 *  当样本  − 3 + x 1 + x 2 < 0 -3 + x\_1+x\_2 <0 −3\+x1\+x2<0 时， g ( − 3 + x 1 + x 2 ) < 0.5 g(-3 + x\_1+x\_2) <0.5 g(−3\+x1\+x2)<0.5 ，预测为蓝〇

![在这里插入图片描述][e480eea97fc646ac96024dc4fcb6e8c8.png]  
样例2，非线性的决策边界： − 1 + x 1 2 + x 2 2 = 0 -1+x\_1^2+x\_2^2 = 0 −1\+x12\+x22=0

*  当  − 1 + x 1 2 + x 2 2 ≥ 0 -1+x\_1^2+x\_2^2 \\ge 0 −1\+x12\+x22≥0 时，  g ( − 1 + x 1 2 + x 2 2 ) ≥ 0.5 g(-1+x\_1^2+x\_2^2)\\ge 0.5 g(−1\+x12\+x22)≥0.5， 预测为红X
 *  当  − 1 + x 1 2 + x 2 2 < 0 -1+x\_1^2+x\_2^2 < 0 −1\+x12\+x22<0 时，  g ( − 1 + x 1 2 + x 2 2 ) < 0.5 g(-1+x\_1^2+x\_2^2) < 0.5 g(−1\+x12\+x22)<0.5， 预测为蓝〇

## 6.4 逻辑回归的代价函数 ##

逻辑回归的代价函数部分公式如下：

C o s t ( h θ ( x ) , y ) = \{ − log ⁡ ( h θ ( x ) ) if    y = 1 − log ⁡ ( 1 − h θ ( x ) ) if    y = 0       注意底数是 e ， 不 是 2 Cost(h\_\\theta(x), y) = \\begin\{cases\} -\\log(h\_\\theta(x)) &\\text\{if \} ~~y=1 \\\\ -\\log (1-h\_\\theta(x)) &\\text\{if \} ~~ y=0 \\end\{cases\}~~~~~~\\text\{注意底数是\} e，不是2 Cost(hθ(x),y)=\{ −log(hθ(x))−log(1−hθ(x))if   y=1if   y=0      注意底数是e，不是2

− log ⁡ ( h θ ( x ) ) -\\log(h\_\\theta(x)) −log(hθ(x)) 的函数图像如下，预测结果  h θ ( x ) h\_\\theta(x) hθ(x) 越偏离真实结果1，那么代价就越大  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 9]

− log ⁡ ( 1 − h θ ( x ) ) -\\log (1-h\_\\theta(x)) −log(1−hθ(x)) 的函数图像如下，预测结果  h θ ( x ) h\_\\theta(x) hθ(x) 越偏离真实结果0，那么代价就越大  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 10]

## 6.5 简化代价函数和梯度下降（Simplified Cost Function and Gradient Descent ） ##

梯度下降的代价函数部分公式如下：  
 C o s t ( h θ ( x ) , y ) = \{ − log ⁡ ( h θ ( x ) ) if    y = 1 − log ⁡ ( 1 − h θ ( x ) ) if    y = 0       注意底数是 e ， 不 是 2 Cost(h\_\\theta(x), y) = \\begin\{cases\} -\\log(h\_\\theta(x)) &\\text\{if \} ~~y=1 \\\\ -\\log (1-h\_\\theta(x)) &\\text\{if \} ~~ y=0 \\end\{cases\}~~~~~~\\text\{注意底数是\} e，不是2 Cost(hθ(x),y)=\{ −log(hθ(x))−log(1−hθ(x))if   y=1if   y=0      注意底数是e，不是2

将其合并为一个式子为：  
 Cost ⁡ ( h θ ( x ) , y ) = − y log ⁡ ( h θ ( x ) ) − ( 1 − y ) log ⁡ ( 1 − h θ ( x ) ) \\operatorname\{Cost\}\\left(h\_\{\\theta\}(x), y\\right)=-y \\log \\left(h\_\{\\theta\}(x)\\right)-(1-y) \\log \\left(1-h\_\{\\theta\}(x)\\right) Cost(hθ(x),y)=−ylog(hθ(x))−(1−y)log(1−hθ(x))

**完整的线性回归代价函数公式如下**：

J ( θ ) = − 1 m ∑ i = 1 m \[ y ( i ) log ⁡ ( h θ ( x ( i ) ) ) + ( 1 − y ( i ) ) log ⁡ ( 1 − h θ ( x ( i ) ) ) \] J(\\theta)=-\\frac\{1\}\{m\} \\sum\_\{i=1\}^\{m\}\\left\[y^\{(i)\} \\log \\left(h\_\{\\theta\}\\left(x^\{(i)\}\\right)\\right)+\\left(1-y^\{(i)\}\\right) \\log \\left(1-h\_\{\\theta\}\\left(x^\{(i)\}\\right)\\right)\\right\] J(θ)=−m1i=1∑m\[y(i)log(hθ(x(i)))\+(1−y(i))log(1−hθ(x(i)))\]

对应的**梯度下降**公式为（[详细推导公式][Link 2]）：

θ j : = θ j − α 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) x j ( i ) \\theta\_\{j\}:=\\theta\_\{j\}-\\alpha \\frac\{1\}\{m\} \\sum\_\{i=1\}^\{m\}\\left(h\_\{\\theta\}\\left(x^\{(i)\}\\right)-y^\{(i)\}\\right) x\_\{j\}^\{(i)\} θj:=θj−αm1i=1∑m(hθ(x(i))−y(i))xj(i)

向量化的实现为（[向量化过程][Link 3]）：  
 θ : = θ − α m X T ( g ( X θ ) − y ⃗ ) \\theta:=\\theta-\\frac\{\\alpha\}\{m\} X^\{T\}(g(X \\theta)-\\vec\{y\}) θ:=θ−mαXT(g(Xθ)−y)

## 6.6 高级优化（Advanced Optimization） ##

除梯度下降法之外，其他使  θ \\theta θ 最优的算法有：

*  共轭梯度（Conjugate gradient）
 *  BFGS
 *  L-BFGS

上述算法的优点：

*  不需要手动选择学习率  α \\alpha α
 *  比梯度下降快

上述算法的缺点：

*  实现复杂

## 6.7 多分类问题：一对多（Multiclass Classification: One-vs-all） ##

**对于多分类问题，只需要将每个类别分别进行一对多处理即可**

**为每一个类别  i i i 训练一个逻辑回归模型  h θ ( i ) ( x ) h\_\\theta^\{(i)\}(x) hθ(i)(x)，用来预测  y = i y=i y=i 的可能性，当需要预测新的输入  x x x 时，使用所有的模型进行预测，选择概率最大的作为预测结果**:  max ⁡ i h θ ( i ) ( x ) \\max \_\{i\} h\_\{\\theta\}^\{(i)\}(x) maxihθ(i)(x)

h θ ( i ) ( x ) = P ( y = i ∣ x ;   θ ) h\_\{\\theta\}^\{(i)\}(x)=P(y=i | x ;~ \\theta) hθ(i)(x)=P(y=i∣x; θ)

例如，有如下三个类别  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 11]

1.  首先，将 `X`和 `口`，看成一个类别，得到  h θ ( 1 ) ( x ) h\_\\theta^\{(1)\}(x) hθ(1)(x)

![在这里插入图片描述][ac303da61aec4eb58ef1a4359a2cf912.png]  
2. 然后，将 `△` 和 `X` 看成一个类别，得到  h θ ( 2 ) ( x ) h\_\\theta^\{(2)\}(x) hθ(2)(x)  
![在这里插入图片描述][a8be8ece856b44668a8952440a7ce721.png]  
3. 最后，将 `△` 和 `口` 看成一个类别，得到  h θ ( 3 ) ( x ) h\_\\theta^\{(3)\}(x) hθ(3)(x)  
![在这里插入图片描述][ff1517fa596d4a069909fe5e05738b40.png]

# 七、解决过拟合问题 #

## 7.1 过拟合问题 ##

**过拟合（Overfitting）**：如果我们特征太多（特征的高次方太多），那样学习的假设函数就可以非常好的拟合，但是却不能很好的进行泛化（预测新的输入）

**Overfitting**：If we have too many features, the learned hypothesis may fit the training set very well (  J ( θ ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 ≈ 0 J(\\theta)=\\frac\{1\}\{2 m\} \\sum\_\{i=1\}^\{m\}\\left(h\_\{\\theta\}\\left(x^\{(i)\}\\right)-y^\{(i)\}\\right)^\{2\} \\approx 0 J(θ)=2m1∑i=1m(hθ(x(i))−y(i))2≈0 ), but fail to generalize to new examples

**过拟合**：

*  拟合的太好，不能很好泛化
 *  **高方差，低偏差**

**欠拟合**：

*  拟合的不够好
 *  **低方差，高偏差**

例如，我们有一个预测房价的模型：

![在这里插入图片描述][b7223e97503d44d183a77f9665173535.png]  
可以看出，这个假设刚刚好

如果假设为直线，就会出现**欠拟合（underfit）** 问题，它会有较高的偏差（**高偏差（High Bias）**）：

![在这里插入图片描述][c40b65ae49d64d2989160741dabe44ec.png]

如果假设函数的特征太多，拟合的太好了，反而不好，称为**过拟合（overfit）**，它会有较高的方差（**高方差（High Variance）**）：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 12]

### 理解高偏差和高方差 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 13]

逻辑回归的欠拟合和过拟合样例：![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 14]

**过拟合的处理**：

*  减少特征的数量：①手动选择保留哪些特征 ②使用模型选择算法（Model selection algorithm）
 *  正则化（Regularization）：①保留所有特征，但是减少参数  θ j \\theta\_j θj 的量级（magnitude）； 当特征比较多时，该方法就比较好了，因为每一个特征都为预测  y y y 贡献了自己的一点力量

## 7.2 包含正则化的代价函数 ##

**正则化（Regularization）的目的**：

*  防止过拟合
 *  简化假设模型（“Simpler” hypothesis）

**正则化的实现思路**：为每个一  θ j \\theta\_j θj 增加一个惩罚，让每个  θ j \\theta\_j θj 都变小一点，这样最后的曲线就相对圆滑

**正则化的代价函数公式**：

J ( θ ) = 1 2 m \[ ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 + λ ∑ j = 1 n θ j 2 \] J(\\theta)=\\frac\{1\}\{2 m\}\\left\[\\sum\_\{i=1\}^\{m\}\\left(h\_\{\\theta\}\\left(x^\{(i)\}\\right)-y^\{(i)\}\\right)^\{2\}+\\lambda \\sum\_\{j=1\}^\{n\} \\theta\_\{j\}^\{2\}\\right\] J(θ)=2m1\[i=1∑m(hθ(x(i))−y(i))2\+λj=1∑nθj2\]

其中  λ \\lambda λ 被称为**正则化参数（Regularization Paramter）** 是一个常数

> 注意：正则化是从  θ 1 \\theta\_1 θ1 开始，因为  θ 0 \\theta\_0 θ0 是截距，不用参与正则化

λ \\lambda λ 不能过大，如果过大，对每一个  θ j \\theta\_j θj 的惩罚太大，最后他们全成0了，最后就会欠拟合，例如：![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 15]

## 7.3 正则化的线性回归（Regularized Linear Regression） ##

**正则化的代价函数公式**：

**无正则化的梯度下降公式**：  
 R e p e a t    \{         θ j : = θ j − α 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) x j ( i ) \} \\begin\{aligned\} &Repeat ~~\\\{ \\\\ & ~~~~~~~\\theta\_j := \\theta\_j - \\alpha \\frac\{1\}\{m\} \\sum\_\{i=1\}^m(h\_\\theta(x^\{(i)\}) - y^\{(i)\}) x\_j^\{(i)\} \\\\ &\\\} \\\\\\\\ \\end\{aligned\} Repeat  \{        θj:=θj−αm1i=1∑m(hθ(x(i))−y(i))xj(i)\}

**正则化后的梯度下降公式**：  
 R e p e a t    \{         θ j : = θ j − α \[ 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) x j ( i ) + λ m θ j \] \} \\begin\{aligned\} &Repeat ~~\\\{ \\\\ & ~~~~~~~\\theta\_j := \\theta\_j - \\alpha \\left\[ \\frac\{1\}\{m\} \\sum\_\{i=1\}^m(h\_\\theta(x^\{(i)\}) - y^\{(i)\}) x\_j^\{(i)\} +\\frac\{\\lambda\}\{m\} \\theta\_j \\right\] \\\\ &\\\} \\\\\\\\ \\end\{aligned\} Repeat  \{        θj:=θj−α\[m1i=1∑m(hθ(x(i))−y(i))xj(i)\+mλθj\]\}

整理后得：  
 θ j : = θ j ( 1 − α λ m ) − α 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) x j ( i ) \\theta\_\{j\}:=\\theta\_\{j\}\\left(1-\\alpha \\frac\{\\lambda\}\{m\}\\right)-\\alpha \\frac\{1\}\{m\} \\sum\_\{i=1\}^\{m\}\\left(h\_\{\\theta\}\\left(x^\{(i)\}\\right)-y^\{(i)\}\\right) x\_\{j\}^\{(i)\} θj:=θj(1−αmλ)−αm1i=1∑m(hθ(x(i))−y(i))xj(i)

> 要保证  ( 1 − α λ m ) \\left(1-\\alpha \\frac\{\\lambda\}\{m\}\\right) (1−αmλ) < 1，这样才能起到惩罚的作用，每次让  θ j \\theta\_j θj 减少的更多一点

--------------------

**无正则化的线性回归正规方程解**：

θ = ( X T X ) − 1 X T y \\theta = (X^T X)^\{-1\} X^Ty θ=(XTX)−1XTy

**正则化后的线性回归正规方程解**：  
 θ = ( X T X + λ \[ 0 1 1 ⋱ 1 \] ) − 1 X T y \\theta=\\left(X^\{T\} X+\\lambda\\left\[\\begin\{array\}\{llll\} 0 & & & \\\\ & 1 & & \\\\ & & 1 & & \\\\ & & & \\ddots & \\\\ & & & & 1\\\\ \\end\{array\}\\right\]\\right)^\{-1\} X^\{T\} y θ=⎝⎜⎜⎜⎜⎛XTX\+λ⎣⎢⎢⎢⎢⎡011⋱1⎦⎥⎥⎥⎥⎤⎠⎟⎟⎟⎟⎞−1XTy

## 7.4 正则化的逻辑回归（Regularized Logistic Regression） ##

**正则化后的逻辑回归的代价函数**为：

J ( θ ) = − 1 m ∑ i = 1 m \[ y ( i ) log ⁡ ( h θ ( x ( i ) ) ) + ( 1 − y ( i ) ) log ⁡ ( 1 − h θ ( x ( i ) ) ) \] + λ 2 m ∑ j = 1 n θ j 2 J(\\theta)=-\\frac\{1\}\{m\} \\sum\_\{i=1\}^\{m\}\\left\[y^\{(i)\} \\log \\left(h\_\{\\theta\}\\left(x^\{(i)\}\\right)\\right)+\\left(1-y^\{(i)\}\\right) \\log \\left(1-h\_\{\\theta\}\\left(x^\{(i)\}\\right)\\right)\\right\] + \\frac\{\\lambda\}\{2m\} \\sum\_\{j=1\}^n \\theta\_j^2 J(θ)=−m1i=1∑m\[y(i)log(hθ(x(i)))\+(1−y(i))log(1−hθ(x(i)))\]\+2mλj=1∑nθj2

**无正则化的逻辑回归的梯度下降公式**：

**正则化后的逻辑回归的梯度下降公式**：

θ j : = θ j − α \[ 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) x j ( i ) + λ m θ j \] \\theta\_\{j\}:=\\theta\_\{j\}-\\alpha \\left\[ \\frac\{1\}\{m\} \\sum\_\{i=1\}^\{m\}\\left(h\_\{\\theta\}\\left(x^\{(i)\}\\right)-y^\{(i)\}\\right) x\_\{j\}^\{(i)\} + \\frac\{\\lambda\}\{m\} \\theta\_j \\right\] θj:=θj−α\[m1i=1∑m(hθ(x(i))−y(i))xj(i)\+mλθj\]

# 八、神经网络（Neural Networks） #

## 8.1 非线性假设（Non-linear Hypotheses） ##

**线性假设的弊端**：**特征太多了**

假设现在预测房价模型：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 16]  
使用逻辑回归模型，假设函数为右侧。我们有两个特征  x 1 , x 2 x\_1 , x\_2 x1,x2，模型特征却有  x 1 , x 2 , x 1 x 2 , . . . x\_1,x\_2,x\_1x\_2,... x1,x2,x1x2,... 无数个。

如果有100个特征，次方弄到2，那么最终的模型特征数量就总共有5150个特征，分别是  x 1 , x 2 , ⋯   , x 100 , x 1 2 , x 1 x 2 , ⋯   , x 1 x 100 , x 2 2 , x 2 x 3 , ⋯   , x 2 x 100 , ⋯   , x 100 2 x\_1, x\_2, \\cdots, x\_\{100\}, x\_1^2, x\_1x\_2, \\cdots,x\_1x\_\{100\},x\_2^2,x\_2x\_3,\\cdots,x\_2x\_\{100\},\\cdots,x\_\{100\}^2 x1,x2,⋯,x100,x12,x1x2,⋯,x1x100,x22,x2x3,⋯,x2x100,⋯,x1002

如果有100个特征，次方弄到3，最终会约有17w个模型特征。

所以，要提出非线性的模型假设

## 8.2 神经和大脑（Neurons and the Brain） ##

科普，可略

## 8.3 模型表示（Model Representation） ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 17]  
**Dendrite（树突）**: 从树突输入数据  
**Nucleus（细胞核）**：由细胞核处理数据  
**Axon（轴突）**：通过轴突输出处理结果，或将处理结果反馈到下一层继续处理

神经网是以上述为思路构建的。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 18]  
**神经元模型（Neuron Model）**：

*   x 1 , x 2 , x 3 x\_1, x\_2, x\_3 x1,x2,x3： 输入的特征值。 x 1 x\_1 x1上面还有一个  x 0 x\_0 x0，称为**偏置单元（Bias Unit）**，恒等于1。
 *  **激活函数（activation function）**：橙色的圈为**激活函数**，一般选用**Sigmoid函数**
 *   h θ ( x ) h\_\\theta (x) hθ(x)：模型的输出
 *  **权重（weight）**： x 1 x\_1 x1 到 `激活函数` 之间的那条线，也就是  θ j \\theta\_j θj，在神经网络中，称为**权重（weight）**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 19]  
神经网络可以有多层，分别为：

*  **输入层（Input Layer）**：Layer 1，数据从该层输入
 *  **隐藏层（Hidden Layer）**：Layer 2 到 Layer L-1，（L为层数），在第二层到最后一层之间的层称为**隐藏层**。隐藏层的每一个结点都是一个激活函数
 *  **输出层（Output Layer）**：Layer L，最后一层，该层得到的结果为输出结果

**符号表示**：

*   a i ( j ) a\_i^\{(j)\} ai(j) ： 在第  j j j 层的第  i i i 个激活单元
 *   Θ ( j ) \\Theta^\{(j)\} Θ(j)：控制从  j j j 层 到  j + 1 j+1 j\+1 层函数映射的矩阵的权重矩阵。 **Θ ( j ) \\Theta^\{(j)\} Θ(j) 的维数**：如果神经网络的  j j j层有  s j s\_j sj 个单元（units）， j + 1 j+1 j\+1 层有  s j + 1 s\_\{j+1\} sj\+1 个单元，那么  Θ ( j ) \\Theta^\{(j)\} Θ(j) 是  s j + 1 × ( s j + 1 ) s\_\{j+1\} \\times (s\_j + 1) sj\+1×(sj\+1) 维的
 *   Θ k , i ( j ) \\Theta^\{(j)\}\_\{k,i\} Θk,i(j)：第  j j j 层，第  k k k 个结点的第  i i i 个权重的值

**神经网络的向量化**：  
 令      x = \[ x 0 x 1 ⋯ x n \]       z ( j ) = \[ z 1 ( j ) z 2 ( j ) ⋯ z n ( j ) \] 令 ~~~~x=\\left\[\\begin\{array\}\{c\} x\_\{0\} \\\\ x\_\{1\} \\\\ \\cdots \\\\ x\_\{n\} \\end\{array\}\\right\]~~~~~ z^\{(j)\}=\\left\[\\begin\{array\}\{c\} z\_\{1\}^\{(j)\} \\\\ z\_\{2\}^\{(j)\} \\\\ \\cdots \\\\ z\_\{n\}^\{(j)\} \\end\{array\}\\right\] 令    x=⎣⎢⎢⎡x0x1⋯xn⎦⎥⎥⎤     z(j)=⎣⎢⎢⎢⎡z1(j)z2(j)⋯zn(j)⎦⎥⎥⎥⎤

则有：  
 z ( j ) = Θ ( j − 1 ) a ( j − 1 ) a ( j ) = g ( z ( j ) ) h Θ ( x ) = a ( j + 1 ) = g ( z ( j + 1 ) ) \\begin\{aligned\} z^\{(j)\} & =\\Theta^\{(j-1)\} a^\{(j-1)\} \\\\\\\\ a^\{(j)\} &= g(z^\{(j)\}) \\\\\\\\ h\_\{\\Theta\}(x) &=a^\{(j+1)\}=g\\left(z^\{(j+1)\}\\right) \\end\{aligned\} z(j)a(j)hΘ(x)=Θ(j−1)a(j−1)=g(z(j))=a(j\+1)=g(z(j\+1))

例如，对于上面的神经网络，有：  
 a 1 ( 2 ) = g ( Θ 10 ( 1 ) x 0 + Θ 11 ( 1 ) x 1 + Θ 12 ( 1 ) x 2 + Θ 13 ( 1 ) x 3 ) a 2 ( 2 ) = g ( Θ 20 ( 1 ) x 0 + Θ 21 ( 1 ) x 1 + Θ 22 ( 1 ) x 2 + Θ 23 ( 1 ) x 3 ) a 3 ( 2 ) = g ( Θ 30 ( 1 ) x 0 + Θ 31 ( 1 ) x 1 + Θ 32 ( 1 ) x 2 + Θ 33 ( 1 ) x 3 ) h Θ ( x ) = a 1 ( 3 ) = g ( Θ 10 ( 2 ) a 0 ( 2 ) + Θ 11 ( 2 ) a 1 ( 2 ) + Θ 12 ( 2 ) a 2 ( 2 ) + Θ 13 ( 2 ) a 3 ( 2 ) ) \\begin\{aligned\} a\_\{1\}^\{(2)\} &=g\\left(\\Theta\_\{10\}^\{(1)\} x\_\{0\}+\\Theta\_\{11\}^\{(1)\} x\_\{1\}+\\Theta\_\{12\}^\{(1)\} x\_\{2\}+\\Theta\_\{13\}^\{(1)\} x\_\{3\}\\right) \\\\\\\\ a\_\{2\}^\{(2)\} &=g\\left(\\Theta\_\{20\}^\{(1)\} x\_\{0\}+\\Theta\_\{21\}^\{(1)\} x\_\{1\}+\\Theta\_\{22\}^\{(1)\} x\_\{2\}+\\Theta\_\{23\}^\{(1)\} x\_\{3\}\\right) \\\\\\\\ a\_\{3\}^\{(2)\} &=g\\left(\\Theta\_\{30\}^\{(1)\} x\_\{0\}+\\Theta\_\{31\}^\{(1)\} x\_\{1\}+\\Theta\_\{32\}^\{(1)\} x\_\{2\}+\\Theta\_\{33\}^\{(1)\} x\_\{3\}\\right) \\\\\\\\ h\_\{\\Theta\}(x) &=a\_\{1\}^\{(3)\}=g\\left(\\Theta\_\{10\}^\{(2)\} a\_\{0\}^\{(2)\}+\\Theta\_\{11\}^\{(2)\} a\_\{1\}^\{(2)\}+\\Theta\_\{12\}^\{(2)\} a\_\{2\}^\{(2)\}+\\Theta\_\{13\}^\{(2)\} a\_\{3\}^\{(2)\}\\right) \\end\{aligned\} a1(2)a2(2)a3(2)hΘ(x)=g(Θ10(1)x0\+Θ11(1)x1\+Θ12(1)x2\+Θ13(1)x3)=g(Θ20(1)x0\+Θ21(1)x1\+Θ22(1)x2\+Θ23(1)x3)=g(Θ30(1)x0\+Θ31(1)x1\+Θ32(1)x2\+Θ33(1)x3)=a1(3)=g(Θ10(2)a0(2)\+Θ11(2)a1(2)\+Θ12(2)a2(2)\+Θ13(2)a3(2))

将其向量化，可以表示为如下：  
 z ( 2 ) = Θ ( 1 ) x = Θ ( 1 ) a ( 1 ) a ( 2 ) = g ( z ( 2 ) )         其 中    x = \[ x 0 x 1 x 2 x 3 \]    z ( 2 ) = \[ z 1 ( 2 ) z 2 ( 2 ) z 3 ( 2 ) \] \\begin\{aligned\} z^\{(2)\} & = \\Theta^\{(1)\} x = \\Theta^\{(1)\} a^\{(1)\} \\\\\\\\ a^\{(2)\} & = g(z^\{(2)\}) \\\\ \\end\{aligned\} ~~~~~~~其中~~ x=\\left\[\\begin\{array\}\{l\} x\_\{0\} \\\\ x\_\{1\} \\\\ x\_\{2\} \\\\ x\_\{3\} \\end\{array\}\\right\] \\quad~~ z^\{(2)\}=\\left\[\\begin\{array\}\{c\} z\_\{1\}^\{(2)\} \\\\\\\\ z\_\{2\}^\{(2)\} \\\\\\\\ z\_\{3\}^\{(2)\} \\end\{array\}\\right\] z(2)a(2)=Θ(1)x=Θ(1)a(1)=g(z(2))       其中  x=⎣⎢⎢⎡x0x1x2x3⎦⎥⎥⎤  z(2)=⎣⎢⎢⎢⎢⎢⎡z1(2)z2(2)z3(2)⎦⎥⎥⎥⎥⎥⎤

第三层为：  
 增 加 偏 置 节 点     a 0 ( 2 ) = 1 z 3 = Θ ( 2 ) a ( 2 ) h Θ ( x ) = a ( 3 ) = g ( z ( 3 ) ) \\begin\{aligned\} & 增加偏置节点 ~~~a\_0^\{(2)\} = 1\\\\\\\\ & z^\{3\} = \\Theta^\{(2)\}a^\{(2)\}\\\\\\\\ & h\_\\Theta(x) = a^\{(3)\} = g(z^\{(3)\}) \\end\{aligned\} 增加偏置节点   a0(2)=1z3=Θ(2)a(2)hΘ(x)=a(3)=g(z(3))

## 8.4 样例1（Examples and Intuitions） ##

假设，我们要构建模型来预测         y = x 1  AND  x 2           ~~~~~~y = x\_1~ \\text\{AND\}~ x\_2~~~~~~~~~       y=x1 AND x2          (1&1 = 1, 0&1 = 0, 0&0=0)

我们可以构架纳入下神经网络：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 20]

通过机器学习，我们得到了  Θ ( 1 ) = ( − 30 , + 20 , + 20 ) T \\Theta^\{(1)\} =(-30, +20, +20)^T Θ(1)=(−30,\+20,\+20)T，即：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 21]

将  x 1 ， x 2 x\_1， x\_2 x1，x2 代入 sigmoid 函数，可得：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 22]  
可以看出，我们预测的模型是正确的，可以满足一开始的预期  y = x 1  AND  x 2 y = x\_1~ \\text\{AND\}~ x\_2 y=x1 AND x2

同理，也可以构建 OR Function 的神经网络模型，如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 23]

## 8.5 多分类问题（Multiclass Classification） ##

上述例子为二分类问题，这样输出  y ∈ \{ 0 , 1 \} y \\in \\\{0,1\\\} y∈\{ 0,1\}，这样只需要用一个输出结点即可。

如果是一对多问题，例如：  
![在这里插入图片描述][321c462760b44e5aae3996c341081a63.png]  
我们需要将图片分成如下4个类别，则相应神经网络的输出结点应该是4个：  
![在这里插入图片描述][6cef441f2d6444fda501186424faaab8.png]  
  当为Pedestrian时：  h Θ ( x ) ≈ \[ 1 0 0 0 \] ,     当为Car时： h Θ ( x ) ≈ \[ 0 1 0 0 \] ,  当为Motorcycle时： h Θ ( x ) ≈ \[ 0 0 1 0 \] ,  etc.  \\begin\{aligned\} &\\text \{ 当为Pedestrian时： \} h\_\{\\Theta\}(x) \\approx\\left\[\\begin\{array\}\{l\} 1 \\\\ 0 \\\\ 0 \\\\ 0 \\end\{array\}\\right\],~~~ \\text \{ 当为Car时：\}h\_\{\\Theta\}(x) \\approx\\left\[\\begin\{array\}\{l\} 0 \\\\ 1 \\\\ 0 \\\\ 0 \\end\{array\}\\right\], \\text \{ 当为Motorcycle时：\} h\_\{\\Theta\}(x) \\approx\\left\[\\begin\{array\}\{l\} 0 \\\\ 0 \\\\ 1 \\\\ 0 \\end\{array\}\\right\], \\text \{ etc. \}\\\\ \\end\{aligned\}  当为Pedestrian时： hΘ(x)≈⎣⎢⎢⎡1000⎦⎥⎥⎤,    当为Car时：hΘ(x)≈⎣⎢⎢⎡0100⎦⎥⎥⎤, 当为Motorcycle时：hΘ(x)≈⎣⎢⎢⎡0010⎦⎥⎥⎤, etc.

# 九、神经网络（二） #

## 9.1 代价函数 ##

**数学符号表示**， 例如有这样一个神经网络：  
![在这里插入图片描述][828b052f66ea450a9983e4969a971957.png]

*   L = L = L= 神经网络的层数。在上图中  L = 4 L=4 L=4
 *   s l = s\_l = sl=  l l l 层的结点个数（不计算偏置节点（bias unit））。上图中， s 1 = 3 , s 2 = s 3 = 5 , s 4 = s L = 4 s\_1=3,s\_2=s\_3=5,s\_4=s\_L=4 s1=3,s2=s3=5,s4=sL=4
 *   K K K = 多分类问题的类别数量。输出维度为  y ∈ R K y\\in \\reals^K y∈RK 。如果是二分类问题，结果为0,1，此时 y ∈ \{ 0 , 1 \} y\\in \\\{0,1\\\} y∈\{ 0,1\}

**逻辑回归的代价函数如下**：

J ( θ ) = − 1 m \[ ∑ i = 1 m y ( i ) log ⁡ h θ ( x ( i ) ) + ( 1 − y ( i ) ) log ⁡ ( 1 − h θ ( x ( i ) ) ) \] + λ 2 m ∑ j = 1 n θ j 2 J(\\theta)=-\\frac\{1\}\{m\}\\left\[\\sum\_\{i=1\}^\{m\} y^\{(i)\} \\log h\_\{\\theta\}\\left(x^\{(i)\}\\right)+\\left(1-y^\{(i)\}\\right) \\log \\left(1-h\_\{\\theta\}\\left(x^\{(i)\}\\right)\\right)\\right\]+\\frac\{\\lambda\}\{2 m\} \\sum\_\{j=1\}^\{n\} \\theta\_\{j\}^\{2\} J(θ)=−m1\[i=1∑my(i)loghθ(x(i))\+(1−y(i))log(1−hθ(x(i)))\]\+2mλj=1∑nθj2

**神经网络的代价函数如下**：

J ( Θ ) = − 1 m \[ ∑ i = 1 m ∑ k = 1 K y k ( i ) log ⁡ ( h Θ ( x ( i ) ) ) k + ( 1 − y k ( i ) ) log ⁡ ( 1 − ( h Θ ( x ( i ) ) ) k ) \] + λ 2 m ∑ l = 1 L − 1 ∑ i = 1 s l ∑ j = 1 s l + 1 ( Θ j i ( l ) ) 2 \\begin\{aligned\} J(\\Theta)= & -\\frac\{1\}\{m\}\\left\[\\sum\_\{i=1\}^\{m\} \\sum\_\{k=1\}^\{K\} y\_\{k\}^\{(i)\} \\log \\left(h\_\{\\Theta\}\\left(x^\{(i)\}\\right)\\right)\_\{k\}+\\left(1-y\_\{k\}^\{(i)\}\\right) \\log \\left(1-\\left(h\_\{\\Theta\}\\left(x^\{(i)\}\\right)\\right)\_\{k\}\\right)\\right\] \\\\\\\\ &+\\frac\{\\lambda\}\{2 m\} \\sum\_\{l=1\}^\{L-1\} \\sum\_\{i=1\}^\{s\_\{l\}\} \\sum\_\{j=1\}^\{s\_\{l+1\}\}\\left(\\Theta\_\{j i\}^\{(l)\}\\right)^\{2\} \\end\{aligned\} J(Θ)=−m1\[i=1∑mk=1∑Kyk(i)log(hΘ(x(i)))k\+(1−yk(i))log(1−(hΘ(x(i)))k)\]\+2mλl=1∑L−1i=1∑slj=1∑sl\+1(Θji(l))2  
其中：  
 h Θ ( x ) ∈ R K ( h Θ ( x ) ) k = k t h  output  （ 第 k 个 类 别 的 输 出 值 ） h\_\{\\Theta\}(x) \\in \\mathbb\{R\}^\{K\} \\quad\\left(h\_\{\\Theta\}(x)\\right)\_\{k\}=k^\{t h\} \\text \{ output \} （第k个类别的输出值）\\\\ hΘ(x)∈RK(hΘ(x))k=kth output （第k个类别的输出值）

> 注意： ∑ i = 1 s l ∑ j = 1 s l + 1 \\sum\_\{i=1\}^\{s\_\{l\}\} \\sum\_\{j=1\}^\{s\_\{l+1\}\} ∑i=1sl∑j=1sl\+1 分别是  S l S\_l Sl 和  S l + 1 S\_\{l+1\} Sl\+1 ，而不是  s l sl sl 和  s l + 1 s\_l +1 sl\+1

**公式解释**：

*  上半部分和逻辑回归类似，但不一样的地方在  ∑ k = 1 K \\sum\_\{k=1\}^\{K\} ∑k=1K 。在逻辑回归的二分类中， y ∈ \{ 0 , 1 \} y \\in \\\{0,1\\\} y∈\{ 0,1\}，其中  log ⁡ h θ ( x ( i ) ) \\log h\_\{\\theta\}\\left(x^\{(i)\}\\right) loghθ(x(i)) 计算  y = 1 y=1 y=1 的部分， ( 1 − y ( i ) ) log ⁡ ( 1 − h θ ( x ( i ) ) ) \\left(1-y^\{(i)\}\\right) \\log \\left(1-h\_\{\\theta\}\\left(x^\{(i)\}\\right)\\right) (1−y(i))log(1−hθ(x(i)))计算  y = 0 y=0 y=0 的部分。而在多分类问题， y ∈ R K y\\in \\reals^K y∈RK, 也就是有K个  \{ 0 , 1 \} \\\{0,1\\\} \{ 0,1\}，这样在计算代价函数时，要把这  K K K 种结果求和
 *  下半部分是参数正则化。对于逻辑回归，只有  n n n 个  θ j \\theta\_j θj 需要进行正则化。但在神经网络中就多了，因为有  L L L 层，所以需要遍历  1 1 1 到  L − 1 L-1 L−1 层（最后一层为输出层，所以就没有线( θ \\theta θ)了），所以就有了 ∑ l = 1 L − 1 \\sum\_\{l=1\}^\{L-1\} ∑l=1L−1 。 对于  l l l层，因为有  s l s\_l sl 个结点（不算偏置结点），所以就有了  ∑ i = 1 s l \\sum\_\{i=1\}^\{s\_\{l\}\} ∑i=1sl 。 而  l l l 层的每一个结点都要与它的下一层（ s l + 1 s\_\{l+1\} sl\+1层）结点连条线（每条线代表一个 Θ j i ( l ) \\Theta\_\{ji\}^\{(l)\} Θji(l) 权重），所以就有了 ∑ j = 1 s l + 1 \\sum\_\{j=1\}^\{s\_\{l+1\}\} ∑j=1sl\+1

## 9.2 反向传播算法（Backpropagation Algorithm） ##

**反向传播算法的用途**：计算出  Θ \\Theta Θ

与其他算法一致，我们得到了代价函数  J ( Θ ) J(\\Theta) J(Θ)，目标是最小化  J ( Θ ) J(\\Theta) J(Θ)，即

min ⁡ Θ J ( Θ ) \\min \_\{\\Theta\} J(\\Theta) ΘminJ(Θ)

所以需要编码来计算：

*   J ( Θ ) J(\\Theta) J(Θ)
 *   ∂ ∂ Θ i j ( l ) J ( Θ ) \\frac\{\\partial\}\{\\partial \\Theta\_\{ij\}^\{(l)\}\}J(\\Theta) ∂Θij(l)∂J(Θ)

--------------------

**正向传播算法**的用途：给定权重  Θ \\Theta Θ 和 输入 x x x，求出输出  h Θ ( x ) h\_\\Theta(x) hΘ(x)

**正向传播算法思路**：从输入层开始，一层一层计算，最终得出输出结果

![例如：][828b052f66ea450a9983e4969a971957.png]  
例如，对于该神经网络，使用正向传播算法计算  h Θ ( x ) h\_\\Theta(x) hΘ(x) 的过程如下：

a ( 1 ) = x z ( 2 ) = Θ ( 1 ) a ( 1 ) a ( 2 ) = g ( z ( 2 ) ) ( add ⁡ a 0 ( 2 ) ) z ( 3 ) = Θ ( 2 ) a ( 2 ) a ( 3 ) = g ( z ( 3 ) ) ( add ⁡ a 0 ( 3 ) ) z ( 4 ) = Θ ( 3 ) a ( 3 ) a ( 4 ) = h Θ ( x ) = g ( z ( 4 ) ) \\begin\{aligned\} a^\{(1)\} &=x \\\\ z^\{(2)\} &=\\Theta^\{(1)\} a^\{(1)\} \\\\ a^\{(2)\} &=g\\left(z^\{(2)\}\\right) \\quad\\left(\\operatorname\{add\} a\_\{0\}^\{(2)\}\\right) \\\\ z^\{(3)\} &=\\Theta^\{(2)\} a^\{(2)\} \\\\ a^\{(3)\} &=g\\left(z^\{(3)\}\\right)\\left(\\operatorname\{add\} a\_\{0\}^\{(3)\}\\right) \\\\ z^\{(4)\} &=\\Theta^\{(3)\} a^\{(3)\} \\\\ a^\{(4)\} &=h\_\{\\Theta\}(x)=g\\left(z^\{(4)\}\\right) \\end\{aligned\} a(1)z(2)a(2)z(3)a(3)z(4)a(4)=x=Θ(1)a(1)=g(z(2))(adda0(2))=Θ(2)a(2)=g(z(3))(adda0(3))=Θ(3)a(3)=hΘ(x)=g(z(4))

以  a ( 4 ) a^\{(4)\} a(4) 为例，将其展开：

a ( 4 ) = g ( z ( 4 ) ) = g ( Θ ( 3 ) a ( 3 ) ) = g ( \[ Θ 10 ( 3 ) a 0 ( 3 ) + Θ 11 ( 3 ) a 1 ( 3 ) + ⋯ + Θ 15 ( 3 ) a 5 ( 3 ) Θ 20 ( 3 ) a 0 ( 3 ) + Θ 21 ( 3 ) a 1 ( 3 ) + ⋯ + Θ 25 ( 3 ) a 5 ( 3 ) Θ 30 ( 3 ) a 0 ( 3 ) + Θ 31 ( 3 ) a 1 ( 3 ) + ⋯ + Θ 35 ( 3 ) a 5 ( 3 ) Θ 40 ( 3 ) a 0 ( 3 ) + Θ 41 ( 3 ) a 1 ( 3 ) + ⋯ + Θ 45 ( 3 ) a 5 ( 3 ) \] ) a^\{(4)\}=g\\left(z^\{(4)\}\\right)=g\\left(\\Theta^\{(3)\} a^\{(3)\}\\right)=g\\left(\\left\[\\begin\{array\}\{l\} \\Theta\_\{10\}^\{(3)\} a\_\{0\}^\{(3)\}+\\Theta\_\{11\}^\{(3)\} a\_\{1\}^\{(3)\}+\\cdots+\\Theta\_\{15\}^\{(3)\} a\_\{5\}^\{(3)\} \\\\\\\\ \\Theta\_\{20\}^\{(3)\} a\_\{0\}^\{(3)\}+\\Theta\_\{21\}^\{(3)\} a\_\{1\}^\{(3)\}+\\cdots+\\Theta\_\{25\}^\{(3)\} a\_\{5\}^\{(3)\} \\\\\\\\ \\Theta\_\{30\}^\{(3)\} a\_\{0\}^\{(3)\}+\\Theta\_\{31\}^\{(3)\} a\_\{1\}^\{(3)\}+\\cdots+\\Theta\_\{35\}^\{(3)\} a\_\{5\}^\{(3)\} \\\\\\\\ \\Theta\_\{40\}^\{(3)\} a\_\{0\}^\{(3)\}+\\Theta\_\{41\}^\{(3)\} a\_\{1\}^\{(3)\}+\\cdots+\\Theta\_\{45\}^\{(3)\} a\_\{5\}^\{(3)\} \\end\{array\}\\right\]\\right) a(4)=g(z(4))=g(Θ(3)a(3))=g⎝⎜⎜⎜⎜⎜⎜⎜⎜⎜⎛⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡Θ10(3)a0(3)\+Θ11(3)a1(3)\+⋯\+Θ15(3)a5(3)Θ20(3)a0(3)\+Θ21(3)a1(3)\+⋯\+Θ25(3)a5(3)Θ30(3)a0(3)\+Θ31(3)a1(3)\+⋯\+Θ35(3)a5(3)Θ40(3)a0(3)\+Θ41(3)a1(3)\+⋯\+Θ45(3)a5(3)⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤⎠⎟⎟⎟⎟⎟⎟⎟⎟⎟⎞

--------------------

**反向传播算法思路**：

![例如：][828b052f66ea450a9983e4969a971957.png]  
例如，对于该神经网络，首先，令：

*   δ j ( l ) = \\delta\_j^\{(l)\}= δj(l)=  l l l 层结点  j j j 的“误差（error）”
 *   δ ( l ) = ( δ 1 ( l ) , δ 2 ( l ) , ⋯   , δ n ( l ) ) T \\delta^\{(l)\} = (\\delta^\{(l)\}\_1, \\delta^\{(l)\}\_2, \\cdots, \\delta^\{(l)\}\_n)^T δ(l)=(δ1(l),δ2(l),⋯,δn(l))T ，其中n代表该层的结点数

则有：

δ ( 4 ) = a ( 4 ) − y = h Θ ( x ) − y δ ( 3 ) = ( Θ ( 3 ) ) T δ ( 4 )   . ∗ g ′ ( z ( 3 ) ) = ( Θ ( 3 ) ) T δ ( 4 )   . ∗ ( a ( 3 )   . ∗ ( 1 − a ( 3 ) ) ) δ ( 2 ) = ( Θ ( 2 ) ) T δ ( 3 )   . ∗ g ′ ( z ( 2 ) ) = δ ( 2 ) = ( Θ ( 2 ) ) T δ ( 3 )   . ∗ ( a ( 2 )   . ∗ ( 1 − a ( 2 ) ) ) \\begin\{aligned\} &\\delta^\{(4)\} = a^\{(4)\} - y = h\_\\Theta(x) -y \\\\ &\\delta^\{(3)\}=\\left(\\Theta^\{(3)\}\\right)^\{T\} \\delta^\{(4)\} ~.\* g^\{\\prime\}\\left(z^\{(3)\}\\right) = \\left(\\Theta^\{(3)\}\\right)^\{T\} \\delta^\{(4)\} ~.\*\\left(a^\{(3)\}~. \* (1-a^\{(3)\})\\right) \\\\ &\\delta^\{(2)\}=\\left(\\Theta^\{(2)\}\\right)^\{T\} \\delta^\{(3)\} ~.\* g^\{\\prime\}\\left(z^\{(2)\}\\right) = \\delta^\{(2)\}=\\left(\\Theta^\{(2)\}\\right)^\{T\} \\delta^\{(3)\} ~.\* \\left(a^\{(2)\}~. \* (1-a^\{(2)\})\\right) \\end\{aligned\} δ(4)=a(4)−y=hΘ(x)−yδ(3)=(Θ(3))Tδ(4) .∗g′(z(3))=(Θ(3))Tδ(4) .∗(a(3) .∗(1−a(3)))δ(2)=(Θ(2))Tδ(3) .∗g′(z(2))=δ(2)=(Θ(2))Tδ(3) .∗(a(2) .∗(1−a(2)))

其中    . ∗ ~. \*  .∗ 是指两矩阵的对应元素相乘

--------------------

**反向传播算法伪代码**：

Training set  \{ ( x ( 1 ) , y ( 1 ) ) , … , ( x ( m ) , y ( m ) ) \} \\text \{ Training set \}\\left\\\{\\left(x^\{(1)\}, y^\{(1)\}\\right), \\ldots,\\left(x^\{(m)\}, y^\{(m)\}\\right)\\right\\\}  Training set \{ (x(1),y(1)),…,(x(m),y(m))\}

Set  Δ i j ( l ) = 0  (for all  l , i , j ) \\text \{ Set \} \\left.\\Delta\_\{i j\}^\{(l)\}=0 \\text \{ (for all \} l, i, j\\right)  Set Δij(l)=0 (for all l,i,j)

For  i = 1  to  m \\text \{ For \} i=1 \\text \{ to \} m  For i=1 to m

Set  a ( 1 ) = x ( i ) ~~~~~\\text \{ Set \} a^\{(1)\}=x^\{(i)\}       Set a(1)=x(i)

Perform forward propagation to compute  a ( l )  for  l = 2 , 3 , … , L ~~~~~\\text \{ Perform forward propagation to compute \} a^\{(l)\} \\text \{ for \} l=2,3, \\ldots, L       Perform forward propagation to compute a(l) for l=2,3,…,L

Using  y ( i ) ,  compute  δ ( L ) = a ( L ) − y ( i ) ~~~~~\\text \{ Using \} y^\{(i)\}, \\text \{ compute \} \\delta^\{(L)\}=a^\{(L)\}-y^\{(i)\}       Using y(i), compute δ(L)=a(L)−y(i)

Compute  δ ( L − 1 ) , δ ( L − 2 ) , … , δ ( 2 ) ~~~~~\\text \{ Compute \} \\delta^\{(L-1)\}, \\delta^\{(L-2)\}, \\ldots, \\delta^\{(2)\}       Compute δ(L−1),δ(L−2),…,δ(2)

Δ i j ( l ) : = Δ i j ( l ) + a j ( l ) δ i ( l + 1 ) ~~~~~\\Delta\_\{i j\}^\{(l)\}:=\\Delta\_\{i j\}^\{(l)\}+a\_\{j\}^\{(l)\} \\delta\_\{i\}^\{(l+1)\}      Δij(l):=Δij(l)\+aj(l)δi(l\+1)

D i j ( l ) : = 1 m Δ i j ( l ) + λ Θ i j ( l )     if  j ≠ 0 D\_\{i j\}^\{(l)\}:=\\frac\{1\}\{m\} \\Delta\_\{i j\}^\{(l)\}+\\lambda \\Theta\_\{i j\}^\{(l)\}~~~ \\text \{ if \} j \\neq 0 Dij(l):=m1Δij(l)\+λΘij(l)    if j=0

D i j ( l ) : = 1 m Δ i j ( l )               if  j = 0 D\_\{i j\}^\{(l)\}:=\\frac\{1\}\{m\} \\Delta\_\{i j\}^\{(l)\} \\quad~~~~~~~~~~~~~ \\text \{ if \} j=0 Dij(l):=m1Δij(l)              if j=0

最终得：  
 ∂ ∂ Θ i j ( l ) J ( Θ ) = D i j ( l ) \\frac\{\\partial\}\{\\partial \\Theta\_\{i j\}^\{(l)\}\} J(\\Theta)=D\_\{i j\}^\{(l)\} ∂Θij(l)∂J(Θ)=Dij(l)

## 9.5 梯度检测 ##

**梯度检测**：检测自己的梯度下降代码写的是否正确

**思想**：求出该点斜率（导数）的近似值，然后与实际值比较，如果差的多，说明求导公式有问题。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6JyX54mbX19fXw_size_20_color_FFFFFF_t_70_g_se_x_16]

对于某一个  θ \\theta θ 有：  
 d d θ J ( θ ) ≈ J ( θ + ε ) − J ( θ − ε ) 2 ε \\frac\{d\}\{d \\theta\} J(\\theta) \\approx \\frac\{J(\\theta+\\varepsilon)-J(\\theta-\\varepsilon)\}\{2 \\varepsilon\} dθdJ(θ)≈2εJ(θ\+ε)−J(θ−ε)

其中  ε \\varepsilon ε 为一个非常小的值，比如可以取  ε = 1 0 − 4 \\varepsilon=10^\{-4\} ε=10−4

对于 向量 θ \\theta θ， 有：

θ ∈ R n  (E.g.  θ  is "unrolled" version of  Θ ( 1 ) , Θ ( 2 ) , Θ ( 3 ) ) θ = θ 1 , θ 2 , θ 3 , … , θ n ∂ ∂ θ 1 J ( θ ) ≈ J ( θ 1 + ϵ , θ 2 , θ 3 , … , θ n ) − J ( θ 1 − ϵ , θ 2 , θ 3 , … , θ n ) 2 ϵ ∂ ∂ θ 2 J ( θ ) ≈ J ( θ 1 , θ 2 + ϵ , θ 3 , … , θ n ) − J ( θ 1 , θ 2 − ϵ , θ 3 , … , θ n ) 2 ϵ ⋯ ∂ ∂ θ n J ( θ ) ≈ J ( θ 1 , θ 2 , θ 3 , … , θ n + ϵ ) − J ( θ 1 , θ 2 , θ 3 , … , θ n − ϵ ) 2 ϵ \\begin\{aligned\} &\\left.\\theta \\in \\mathbb\{R\}^\{n\} \\quad \\text \{ (E.g. \} \\theta \\text \{ is "unrolled" version of \} \\Theta^\{(1)\}, \\Theta^\{(2)\}, \\Theta^\{(3)\}\\right) \\\\\\\\ &\\theta=\\theta\_\{1\}, \\theta\_\{2\}, \\theta\_\{3\}, \\ldots, \\theta\_\{n\} \\\\\\\\ &\\frac\{\\partial\}\{\\partial \\theta\_\{1\}\} J(\\theta) \\approx \\frac\{J\\left(\\theta\_\{1\}+\\epsilon, \\theta\_\{2\}, \\theta\_\{3\}, \\ldots, \\theta\_\{n\}\\right)-J\\left(\\theta\_\{1\}-\\epsilon, \\theta\_\{2\}, \\theta\_\{3\}, \\ldots, \\theta\_\{n\}\\right)\}\{2 \\epsilon\} \\\\\\\\ &\\frac\{\\partial\}\{\\partial \\theta\_\{2\}\} J(\\theta) \\approx \\frac\{J\\left(\\theta\_\{1\}, \\theta\_\{2\}+\\epsilon, \\theta\_\{3\}, \\ldots, \\theta\_\{n\}\\right)-J\\left(\\theta\_\{1\}, \\theta\_\{2\}-\\epsilon, \\theta\_\{3\}, \\ldots, \\theta\_\{n\}\\right)\}\{2 \\epsilon\} \\\\\\\\ &\\cdots \\\\\\\\ &\\frac\{\\partial\}\{\\partial \\theta\_\{n\}\} J(\\theta) \\approx \\frac\{J\\left(\\theta\_\{1\}, \\theta\_\{2\}, \\theta\_\{3\}, \\ldots, \\theta\_\{n\}+\\epsilon\\right)-J\\left(\\theta\_\{1\}, \\theta\_\{2\}, \\theta\_\{3\}, \\ldots, \\theta\_\{n\}-\\epsilon\\right)\}\{2 \\epsilon\} \\end\{aligned\} θ∈Rn (E.g. θ is "unrolled" version of Θ(1),Θ(2),Θ(3))θ=θ1,θ2,θ3,…,θn∂θ1∂J(θ)≈2ϵJ(θ1\+ϵ,θ2,θ3,…,θn)−J(θ1−ϵ,θ2,θ3,…,θn)∂θ2∂J(θ)≈2ϵJ(θ1,θ2\+ϵ,θ3,…,θn)−J(θ1,θ2−ϵ,θ3,…,θn)⋯∂θn∂J(θ)≈2ϵJ(θ1,θ2,θ3,…,θn\+ϵ)−J(θ1,θ2,θ3,…,θn−ϵ)

## 9.6 随机初始化 ##

对于  Θ \\Theta Θ 的初始化，有两个注意点：

1.  不能将  Θ i j ( l ) \\Theta^\{(l)\}\_\{ij\} Θij(l) 初始化为0
2.  建议将每一个  Θ i j ( l ) \\Theta^\{(l)\}\_\{ij\} Θij(l) 初始化为范围在  \[ − ε , ε \] \[-\\varepsilon, \\varepsilon\] \[−ε,ε\] 中的随机数

## 9.7 神经网路总结 ##

**训练一各神经网络分为以下几步**：

1.  随机初始化权重（ Θ \\Theta Θ）
2.  对于每一个  x ( i ) x^\{(i)\} x(i)，使用正向传播获得  h Θ ( x ( i ) ) h\_\{\\Theta\}\\left(x^\{(i)\}\\right) hΘ(x(i))
3.  使用代码计算  J ( Θ ) J(\\Theta) J(Θ)
4.  使用反向传播计算偏导数  ∂ ∂ Θ j k ( l ) J ( Θ ) \\frac\{\\partial\}\{\\partial \\Theta\_\{j k\}^\{(l)\}\} J(\\Theta) ∂Θjk(l)∂J(Θ)
5.  使用“梯度检测”来比较使用反向传播计算出的  J ( Θ ) J(\\Theta) J(Θ) 和 估算的 J ( Θ ) J(\\Theta) J(Θ)，来判断代码是否有问题。如果没问题，注释掉梯度检测这段代码
6.  使用梯度下降或其他高级优化方法最小化  J ( Θ ) J(\\Theta) J(Θ)，最终得到  Θ \\Theta Θ

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70]: /images/20220829/8a090276945e419282044a42f49aa58d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 1]: /images/20220829/5287b0a759584cbd92d61e2f894686a3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 2]: /images/20220829/f463be0ad0354eba86ed126ac46f9e0b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 3]: /images/20220829/3177e350b09d4e7ab18871e6f1caa332.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 4]: /images/20220829/f8793a9a120d4f32914f282f967d270a.png
[Link 1]: https://blog.csdn.net/zhaohongfei_358/article/details/117910661
[09adaae07e914d05bbc7326a7f55f0ca.png]: /images/20220829/ba7b6568b51841ae89bafa5fba3b293d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 5]: /images/20220829/5f8c6e6291b54be98352f140406fc4b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 6]: /images/20220829/0efff6ee887842f296a09fa9aae5222b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 7]: /images/20220829/2ad98371ee724450a271b7353c70fa35.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 8]: /images/20220829/4a7e16905cb54defb3fd68f0348465e9.png
[e480eea97fc646ac96024dc4fcb6e8c8.png]: /images/20220829/68c6c310d11644eab644cef2009a2568.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 9]: /images/20220829/4e9e5bec2d474e3d8a9a842e1728e9d9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 10]: /images/20220829/7932075c1e664608af9bdaa282b1c6f7.png
[Link 2]: https://blog.csdn.net/zhaohongfei_358/article/details/119274525
[Link 3]: https://blog.csdn.net/zhaohongfei_358/article/details/119275047
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 11]: /images/20220829/705e036f60804a22bce493dee6151044.png
[ac303da61aec4eb58ef1a4359a2cf912.png]: /images/20220829/7ca3b2616ed940738fc91617f4a7029c.png
[a8be8ece856b44668a8952440a7ce721.png]: /images/20220829/53af237a41d64866b4954881d5eee3c3.png
[ff1517fa596d4a069909fe5e05738b40.png]: /images/20220829/9496b492db5c4cc490feb37259a7d272.png
[b7223e97503d44d183a77f9665173535.png]: /images/20220829/4ee134d997e941979f864dd2948f48f6.png
[c40b65ae49d64d2989160741dabe44ec.png]: /images/20220829/0dcbf03591c94f428a1565679c934f9f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 12]: /images/20220829/6fef15f9421b4190823d7dc1cf9f43d6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 13]: /images/20220829/57eaf3bc1c5647a18481b6844e94775a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 14]: /images/20220829/7db6b0a1d6374248baf1a780fcc23334.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 15]: /images/20220829/71e98bb02b324e8daa04200849b4ed80.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 16]: /images/20220829/9c052a77ac5b43ffb3e38a27ce5d56c3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 17]: /images/20220829/ef2f8714b1574103a946f05edd93881a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 18]: /images/20220829/e3be7b96f9614fc98946fcd116da1563.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 19]: /images/20220829/c00897798008435eadd19cdf5a532679.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 20]: /images/20220829/fde0688391c041248a9b8c8d65277550.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 21]: /images/20220829/36808cda0ea64b868812a21029d74de7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 22]: /images/20220829/bc89420bb3b04bcaaf28eb0b420c0de2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 23]: /images/20220829/a241cb43b3c8482d8640d95474a33db4.png
[321c462760b44e5aae3996c341081a63.png]: /images/20220829/5af012c671d4422885f95731e8eac77d.png
[6cef441f2d6444fda501186424faaab8.png]: /images/20220829/fe78f9478641491ebe1a8f2f0e19045e.png
[828b052f66ea450a9983e4969a971957.png]: /images/20220829/cb42f99526ea4582857e82e2f1ca2c74.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6JyX54mbX19fXw_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/a52eebe109b54f469b71323fe7f0898b.png