深度学习隐藏层神经网络工作

青旅半醒 2024-03-31 15:51 90阅读 0赞

#### 目录 ####

*  1 神经网络拟合复杂函数
 *  2 隐藏层介绍
 *  3 代码实现

--------------------

## 1 神经网络拟合复杂函数 ##

大自然总是变化莫测，小蓝所在海底的生物们也经历了巨大的进化，豆豆的毒性与大小关系变得不再那么的简单，想要预测他们，只能靠一些不那么单调的函数：

机器学习的局限性

![在这里插入图片描述][545d76308d0e4e2fb323527114595b49.png]

![在这里插入图片描述][a05290687e0f4a439b4ba1baec07eb86.png_pic_center]  
那么如何预测模型能够产生这种像山丘一样的曲线呢？

是时候让神经元形成一个网络了！  
![在这里插入图片描述][e09a54f644bb48a494d6871958bdd2a4.png_pic_center]  
一般地我们让网络结构图更加简洁，会省略调偏置项b：  
![在这里插入图片描述][6f624c6e9e45498b8d75ab22d7e2d1ec.png_pic_center]  
不过为了更好的学习，我们这里加上偏置项b，对于第一层第一个神经元：  
我们先通过线性函数计算：  
![在这里插入图片描述][3850112db6414340ba235a4852625d72.png_pic_center]  
再通过激活函数输出，利用梯度下降算法函数图像一定会变成这个样子：  
![在这里插入图片描述][39b1f56bec1f4030ab99bc49a123bedc.png_pic_center]  
对于第一层第二个神经元也可以获得：

![在这里插入图片描述][a1ad9d10696443f98429f5d71653c8d0.png_pic_center]  
![在这里插入图片描述][c550eea52943431f9a5e22c57b678a83.png_pic_center]  
把这两个神经元的输出作为第二层第一个神经元的输入：  
先通过线性函数乘以权重计算：  
![在这里插入图片描述][7259a3f27a164629bd998f5318f01298.png_pic_center]  
再通过激活函数并通过梯度下降算法把最终的输出调节成这样：  
![在这里插入图片描述][34ac3cf2a2ae460abe0299b647a17c21.png_pic_center]  
整个参数调节的过程：  
![在这里插入图片描述][578999b9ab804e2486e057379278d680.png_pic_center]  
我们添加了一个神经元后相当于增加了一个抽象的维度，把输入放到不同的维度中，每个维度通过不断的调整权重并激活，从而产生对输入的不同理解，最后再把这些抽象维度中的输出合并降维得到输出。

## 2 隐藏层介绍 ##

而我们中间新添加的神经元节点也称之为“隐藏层”

![在这里插入图片描述][1ac0e1b20ec54ce7bbe6fc5b9c911600.png_pic_center]  
当我们建立一个复杂程度恰当的神经网络，经过充分的训练后，网络中各个神经元的参数调节被调节成不同值，这些功能单一的神经元联结组合出来的整体就可以近似出一个相当复杂的函数：  
![在这里插入图片描述][f7922f605ea948c0bd09dd142cecc6f0.png]

而机器学习神经网络的根基是`海量数据`，因为越是充足的数据，就越大程度上蕴藏了问题的规律特征，新的问题数据也就越难以逃脱这些规律的约束。  
![在这里插入图片描述][483dfede2eb7430792c56df83fd348ad.png_pic_center]  
一个训练之后拟合适当的模型进而遇到在遇到新的问题数据的时候也能大概率产生正确的预测，我们把这个现象称之为模型的“泛化”。  
![在这里插入图片描述][bc5ad4bc6c024c53ac0a8f92cbfc4c9b.png_pic_center]  
`深度学习网络`中的`“深度”`其实没有什么奥义，只是指一个神经网络中纵向的隐藏层比较多，通俗的讲：`“很深”`！但是隐藏层在理解什么，在提取什么都太过微妙，虽然我们对大致结果都有所把握，但却很难用精准的数学去进行描述，我们能过也只有`设计一个网络`。  
![在这里插入图片描述][2535ef531b6e4cb4ac5dbaa185ee0094.png_pic_center]  
所以很多人戏称深度学习是`“炼丹”`：  
![在这里插入图片描述][df7a456af0d4431ea4e034a061b1ce49.png_pic_center]

## 3 代码实现 ##

我们对上述过程代码实现：豆豆数据集模拟：`dataset.py`

import numpy as np
    
    def get_beans(counts):
    	xs = np.random.rand(counts)*2
    	xs = np.sort(xs)
    	ys = np.zeros(counts)
    	for i in range(counts):
    		x = xs[i]
    		yi = 0.7*x+(0.5-np.random.rand())/50+0.5
    		if yi > 0.8 and yi < 1.4:
    			ys[i] = 1
    
    
    	return xs,ys

豆豆毒性分布如下：

![在这里插入图片描述][54d5b9430cd64b40a1f7fa9bb941212c.png]  
梯度下降：`one_hidden_layer_net.py`

import dataset
    import matplotlib.pyplot as plt
    import numpy as np
    
    # 豆豆数量m
    m = 100
    xs, ys = dataset.get_beans(m)
    
    # 配置图像
    plt.title("Size-Toxicity Function", fontsize=12)
    plt.xlabel("Bean Size")
    plt.ylabel("Toxicity")
    plt.scatter(xs, ys)
    
    
    def sigmoid(x):
        return 1 / (1 + np.exp(-x))
    
    
    # 第一层
    # 第一个神经元
    # 第几个神经元在第几个输入_第几层
    w11_1 = np.random.rand()
    b1_1 = np.random.rand()
    # 第二个神经元
    w12_1 = np.random.rand()
    b2_1 = np.random.rand()
    
    # 第二层
    w11_2 = np.random.rand()
    w21_2 = np.random.rand()
    b1_2 = np.random.rand()
    
    # 前向传播
    def forward_propgation(xs):
        z1_1 = w11_1 * xs + b1_1
        a1_1 = sigmoid(z1_1)
    
        z2_1 = w12_1 * xs + b2_1
        a2_1 = sigmoid(z2_1)
    
        z1_2 = w11_2 * a1_1 + w21_2 * a2_1 + b1_2
        a1_2 = sigmoid(z1_2)
        return a1_2, z1_2, a2_1, z2_1, a1_1, z1_1
    
    
    a1_2, z1_2, a2_1, z2_1, a1_1, z1_1 = forward_propgation(xs)
    plt.plot(xs, a1_2)
    plt.show()
    
    # 训练5000次
    for _ in range(5000):
        for i in range(100):
            x = xs[i]
            y = ys[i]
            # 先来一次前向传播
            a1_2, z1_2, a2_1, z2_1, a1_1, z1_1 = forward_propgation(x)
            # 反向传播
            # 误差代价e
            e = (y - a1_2) ** 2
    
            ####
    
            deda1_2 = -2 * (y - a1_2)
    
            da1_2dz1_2 = a1_2 * (1 - a1_2)
    
            dz1_2dw11_2 = a1_1
            dz1_2dw21_2 = a2_1
    
            dedw11_2 = deda1_2 * da1_2dz1_2 * dz1_2dw11_2
            dedw21_2 = deda1_2 * da1_2dz1_2 * dz1_2dw21_2
    
            dz1_2db1_2 = 1
            dedb1_2 = deda1_2 * da1_2dz1_2 * dz1_2db1_2
    
            ####
    
            dz1_2da1_1 = w11_2
            da1_1dz1_1 = a1_1 * (1 - a1_1)
            dz1_1dw11_1 = x
            dedw11_1 = deda1_2 * da1_2dz1_2 * dz1_2da1_1 * da1_1dz1_1 * dz1_1dw11_1
            dz1_1db1_1 = 1
            dedb1_1 = deda1_2 * da1_2dz1_2 * dz1_2da1_1 * da1_1dz1_1 * dz1_1db1_1
    
            dz1_2da2_1 = w21_2
            da2_1dz2_1 = a2_1 * (1 - a2_1)
            dz2_1dw12_1 = x
            dedw12_1 = deda1_2 * da1_2dz1_2 * dz1_2da2_1 * da2_1dz2_1 * dz2_1dw12_1
            dz2_1db2_1 = 1
            dedb2_1 = deda1_2 * da1_2dz1_2 * dz1_2da2_1 * da2_1dz2_1 * dz2_1db2_1
    
            # alpha为学习率
            alpha = 0.03
            w11_2 = w11_2 - alpha * dedw11_2
            w21_2 = w21_2 - alpha * dedw21_2
            b1_2 = b1_2 - alpha * dedb1_2
    
            w12_1 = w12_1 - alpha * dedw12_1
            b2_1 = b2_1 - alpha * dedb2_1
    
            w11_1 = w11_1 - alpha * dedw11_1
            b1_1 = b1_1 - alpha * dedb1_1
    
    
        if _ % 100 == 0:
            # 绘制动态
            plt.clf()  ## 清空窗口
            plt.scatter(xs, ys)
            a1_2, z1_2, a2_1, z2_1, a1_1, z1_1 = forward_propgation(xs)
            plt.plot(xs, a1_2)
            plt.pause(0.01)  # 暂停0.01秒

![在这里插入图片描述][257fde1063284f0092542432fea8edc0.png]

[545d76308d0e4e2fb323527114595b49.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/464c4fd1625640d1a07a9bff4336086b.png
[a05290687e0f4a439b4ba1baec07eb86.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/8684f3d1fbd24d84bffa01ac19214d04.png
[e09a54f644bb48a494d6871958bdd2a4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/bd224d18de0842ef83c0f52c78561f49.png
[6f624c6e9e45498b8d75ab22d7e2d1ec.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/c314f8739761416086560c7d570cafc7.png
[3850112db6414340ba235a4852625d72.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/5ae90daa90dd4ba5ae6a708f35a0c781.png
[39b1f56bec1f4030ab99bc49a123bedc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/f8a10c9a77774f16b52f74b640078158.png
[a1ad9d10696443f98429f5d71653c8d0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/4dc94429e24c4757948662a31156e60a.png
[c550eea52943431f9a5e22c57b678a83.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/4bd433f624534806b76b7e2b8157f42b.png
[7259a3f27a164629bd998f5318f01298.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/2006857045774136af0f7192895a5343.png
[34ac3cf2a2ae460abe0299b647a17c21.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/4de7dcd51fca45bf9aec5639d670c917.png
[578999b9ab804e2486e057379278d680.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/106e16e91e3c495da66348f5462bb6d6.png
[1ac0e1b20ec54ce7bbe6fc5b9c911600.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/7c97aab969fd41818a9f7a1e2e8a53f4.png
[f7922f605ea948c0bd09dd142cecc6f0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/95f36abfdfcc404cbeb6d3d32f5244c2.png
[483dfede2eb7430792c56df83fd348ad.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/b68e00214c78408aa5d236b4f67211db.png
[bc5ad4bc6c024c53ac0a8f92cbfc4c9b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/7468c794adb34d3c9fae6989a5595d8b.png
[2535ef531b6e4cb4ac5dbaa185ee0094.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/1c3a7f04bc8b4ee994c403702206b496.png
[df7a456af0d4431ea4e034a061b1ce49.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/4bd61bb8d0a54eaba58cff944cd39969.png
[54d5b9430cd64b40a1f7fa9bb941212c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/3edd7640e7d0436889d09646b04217f3.png
[257fde1063284f0092542432fea8edc0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/047cdd82b1ab4871b19dff13c5557e80.png