4.深度学习入门笔记：向量化

╰半橙微兮° 2023-03-14 10:52 176阅读 0赞

原文链接：https://blog.csdn.net/TeFuirnever/article/details/100835706

# 欢迎关注WX公众号：【程序员管小亮】 #

## [专栏——深度学习入门笔记][Link 1] ##

## 声明 ##

1）该文章整理自网上的大牛和机器学习专家无私奉献的资料，具体引用的资料请看参考文献。  
2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。  
3）博主才疏学浅，文中如有不当之处，请各位指出，共同进步，谢谢。  
4）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦。

### 文章目录 ###

*  欢迎关注WX公众号：【程序员管小亮】
 *   *  专栏——深度学习入门笔记
     *  声明
     *  深度学习入门笔记（四）：向量化
     *   *  1、向量化
         *  2、深入理解向量化
         *  3、向量化逻辑回归
         *  4、向量化逻辑回归的梯度输出
     *  推荐阅读
     *  参考文章

## 深度学习入门笔记（四）：向量化 ##

### 1、向量化 ###

**向量化** 是非常基础的去除代码中 **for** 循环的艺术。为什么要去除 **for** 循环？

当在深度学习安全领域、深度学习实践中应用深度学习算法时，会发现在代码中显式地使用 **for** 循环使算法很低效，同时在深度学习领域会有越来越大的数据集，因为深度学习算法处理大数据集效果很棒，所以代码运行速度非常重要，否则如果在大数据集上，代码可能花费很长时间去运行，你将要等待非常长的时间去得到结果。所以算法能应用且没有显式的 **for** 循环是很重要的，并且会帮助你适用于更大的数据集。所以在深度学习领域这里有一项叫做向量化的技术，是一个关键的技巧，它可以允许你的代码摆脱这些显式的 **for** 循环，举个栗子说明什么是向量化。

在逻辑回归中，需要去计算  z = w T x + b z = w T x + b z = w T x + b z=wTx+bz=wTx+b z=\{ \{w\}^\{T\}\}x+b z=wTx\+bz=wTx\+bz=wTx\+bwTx 的方法，你会发现这个非常快，尤其是对比之前的非向量化的实现。

让我们用一个小例子说明一下，在我的我将会写一些代码（以下为教授在他的**Jupyter notebook**上写的**Python**代码，）

import time  # 导入时间库
    import numpy as np  # 导入numpy库

a = np.array(\[1, 2, 3, 4\]) \# 创建一个数据a  
print(a)  
\# \[1 2 3 4\]

a = np.random.rand(1000000)  
b = np.random.rand(1000000) \# 通过round随机得到两个一百万维度的数组  
tic = time.time() \# 现在测量一下当前时间

\# 向量化的版本  
c = np.dot(a, b)  
toc = time.time()  
print(“Vectorized version:” \+ str(1000 \* (toc \- tic)) \+ “ms”) \# 打印一下向量化的版本的时间

\# 继续增加非向量化的版本  
c = 0  
tic = time.time()  
for i in range(1000000):  
c \+= a\[i\]  b\[i\]  
toc = time.time()  
print(c)  
print(“For loop:” \+ str(1000  (toc \- tic)) \+ “ms”) \# 打印for循环的版本的时间

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17
 *  18
 *  19
 *  20
 *  21
 *  22
 *  23
 *  24
 *  25

运行结果见下图：  
![在这里插入图片描述][20190917204133284.png]  
在上面的代码中，使用两个方法——向量化和非向量化，计算了相同的值，其中向量化版本花费了0.968毫秒，而非向量化版本的 **for** 循环花费了327.997毫秒，大概是300多倍，准确倍数是 338.840 倍。仅仅在这个自己举的例子中，都可以明显看到效果。这意味着如果向量化方法需要花费一分钟去运行的数据，使用 **for** 循环将会花费5个小时去运行。

一句话总结，**向量化快**！！！

### 2、深入理解向量化 ###

通过 **numpy内置函数** 和 **避开显式的循环(loop)** 的方式进行向量化，从而有效提高代码速度。根据经验，在写神经网络程序时，或者在写 **逻辑(logistic)回归** 时，或者在写其他神经网络模型时，应该避免写 **循环(loop)** 语句。虽然有时写 **循环(loop)** 是不可避免的，但是如果可以使用其他办法去替代计算，程序效率总是更快。

来看另外一个例子。如果想计算向量  u = A v u = A v u = A v u=Avu=Av u=Av u=Avu=Avu=AvX 是一次获得的一次获得全部。

但是细心的你会发现，为了计算  w T X + \[ b , b , . . . , b \] w T X + \[ b , b , . . . , b wTX+\[b,b,...,b\]wTX+\[b,b,...,b wTX\+\[b,b,...,b\]wTX\+\[b,b,...,b

[Link 1]: https://blog.csdn.net/tefuirnever/article/category/9336737
[20190917204133284.png]: /images/20230312/e69c62871fbd44f699930b6c16793576.png