deep learning.ai 第一课笔记-神经网络和深度学习

今天药忘吃喽~ 2022-05-15 22:42 157阅读 0赞

# 第二周：神经网络基础 #

1.  numpy中的广播：

一个（m,n）的矩阵加减乘除（1，n）或者（m,1）的A向量，python会自动把A向量变成（m,n）维度

Eg：

![70][]

1.  在写代码中不要用shape=（5，）这种秩为1的数据类型，它既不是行向量也不是列向量，记得reshape(1,5)或者（5，1）
2.  神经网络中，比如a\[m\](i),方括号中的m表示神经网络第m层，圆括号里面的i表示训练样本i。

# 第三周：浅层神经网络 #

1.  神经网络中，可以用矩阵表示神经网络的向量化实现，比如说下面：横向表示了不同的样本，竖向表示了神经网络中的不同节点（隐藏单元，即样本特征以及计算得到的特征）。

eg这个双层神经网络的例子

![70 1][]

1.  初始化权重非常重要，如果把W全部初始化为0，那么所有的隐藏单元都是对称的，不管做多久梯度下降都毫无意义，比如，

![70 2][]

1.  因此随机初始化权重是个好方法，比如可以让W\[1\]=np.random.randn（（2，2））\*0.01(产生参数为（2，2）的高斯随机分布)得到一个很小的权重，我们喜欢较小的初始化权重，因为权重过大时，z值会非常大或者非常小，则激活函数会落在平缓部分，造成梯度过于平缓，训练太慢。对于b，则没有这个对称问题，则可以吧b初始化为0

![70 3][]

2.反向传播图示

![70 4][]

# 第四周  深层神经网络 #

1.  怎么检查神经网络的权重矩阵？

前向传播：

W\[l\] = (n\[l\], n\[l-1\])

B\[l\] = (n\[l\], 1)

反向传播：

dW\[l\] =  W\[l\] = (n\[l\], n\[l-1\])

Db\[l\] = B\[l\] = (n\[l\], 1)

Z\[l\] = a\[l\]

![70 5][]

向量化后，W,b,dW和db的维度应该始终是一样的，但是Z，A以及X的维度会在向量化后发生变化。比如下面的Z\[1\]:

![70 6][]

![70 7][]

1.  一个梯度下降循环，记得缓存各种用到的参数

![70 8][]

[70]: /images/20220516/f2dce0287b7441dbb416e590980b464c.png
[70 1]: /images/20220516/b0a121df778b45cda5b1f9e8e7bdbd11.png
[70 2]: /images/20220516/4bc7ac1e8f0746bb8edb867b8006f07f.png
[70 3]: /images/20220516/cd7d005226904beb8fcd5318c0c66c3e.png
[70 4]: /images/20220516/1638db0d9ab64f59843fbd928fcaaffa.png
[70 5]: /images/20220516/e953c1c2764b44cab842838a1b7a8d65.png
[70 6]: /images/20220516/6874d94075ec4220a721698f0b84f326.png
[70 7]: /images/20220516/bed2026a7ead423bb32f7231f956e31a.png
[70 8]: /images/20220516/519d0ffece9a4cad91cc5e97f1189ce6.png