【深度学习】神经网络术语：Epoch、Batch Size和迭代

男娘i 2024-02-17 09:23 27阅读 0赞

**batchsize：中文翻译为批大小（批尺寸）。**

简单点说，批量大小将决定我们一次训练的样本数目。

batch\_size将影响到模型的优化程度和速度。

**为什么需要有 Batch\_Size :**

batchsize 的正确选择是为了在内存效率和内存容量之间寻找最佳平衡。

**Batch\_Size的取值：**

[![神经网络术语：Epoch、Batch Size和迭代][Epoch_Batch Size]][Epoch_Batch Size_Epoch_Batch Size]

全批次（蓝色）

如果**数据集比较小**我们就采用全数据集。全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。

注：对于大的数据集我们不能使用全批次，因为会得到更差的结果。

**迷你批次（绿色）**

选择一个适中的 Batch\_Size 值。就是说我们选定一个batch的大小后，将会以batch的大小将数据输入深度学习的网络中，然后计算这个batch的所有样本的平均损失，即代价函数是所有样本的平均。

**随机（batch\_size等于1的情况）（红色）**

每次修正方向以各自样本的梯度方向修正，横冲直撞各自为政，难以达到收敛。

**适当的增加Batchsize 的优点：**

1.通过并行化提高内存利用率。

2.单次epoch的迭代次数减少，提高运行速度。（单次epoch=（全部训练样本/batchsize） / iteration =1）

3.适当的增加Batch\_Size，梯度下降方向准确度增加，训练震动的幅度减小。（看上图便可知晓）

**经验总结：**

相对于正常数据集，如果Batch\_Size过小，训练数据就会非常难收敛，从而导致underfitting。

增大Batch\_Size，相对处理速度加快。

增大Batch\_Size，所需内存容量增加（epoch的次数需要增加以达到最好结果）。

这里我们发现上面两个矛盾的问题，因为当epoch增加以后同样也会导致耗时增加从而速度下降。因此我们需要寻找最好的batch\_size。

**再次重申：batchsize 的正确选择是为了在内存效率和内存容量之间寻找最佳平衡。**

#### **Iteration: 中文翻译为迭代。** ####

迭代是**重复**[**反馈**][Link 1]的动作，神经网络中我们希望通过迭代进行多次的训练以到达所需的目标或结果。

每一次迭代得到的结果都会被作为下一次迭代的初始值。

一个迭代 = 一个正向通过+一个反向通过

**epoch：中文翻译为时期。**

一个时期 = 所有训练样本的一个正向传递和一个反向传递。

[Epoch_Batch Size]: https://img-blog.csdnimg.cn/img_convert/4473626eac935ae4f62502e1c49b89d2.png
[Epoch_Batch Size_Epoch_Batch Size]: https://static.plob.org/wp-content/uploads/2018/04/1523307450-5838-lU3sx.png
[Link 1]: https://zh.wikipedia.org/wiki/%E5%8F%8D%E9%A6%88

发表评论取消回复

表情：

评论列表（有 0 条评论，27人围观）

还没有评论，来说两句吧...

相关阅读

相关深度学习神经网络介绍

目录 1 深度学习简介 2 神经网络介绍 -------------------- 1 深度学习简介在介绍深度学习之前，我们先看下这幅图：人工智能

淡淡的烟草味﹌/ 2024年04月01日 18:16/ 0 赞/ 116 阅读

相关神经网络和深度学习的简史

神经网络和深度学习的简史神经网络如何从最早的人工智能时代发展到现在的故事。神经网络和深度学习的简史 ![alt][] 序幕——深度学习海啸 "深度学习的浪潮拍打着

太过爱你忘了你带给我的痛/ 2024年04月01日 08:31/ 0 赞/ 95 阅读

相关【深度学习】神经网络术语：Epoch、Batch Size和迭代

batchsize：中文翻译为批大小（批尺寸）。简单点说，批量大小将决定我们一次训练的样本数目。 batch\_size将影响到模型的优化程度和速度。为什么需要有 B

男娘i/ 2024年02月17日 09:23/ 0 赞/ 28 阅读

相关深度学习与神经网络

文章目录引言 1. 神经网络 1.1 什么是神经网络 1.2 神经元 1.3

忘是亡心i/ 2024年02月05日 19:04/ 0 赞/ 41 阅读

相关深度学习敲门砖——神经网络

目录前言一、神经网络是什么？二、恶魔例题助你掌握神经网络三. 网络自学习的神经网络总结系列文章目录 --------------------

╰半夏微凉°/ 2023年09月30日 12:41/ 0 赞/ 47 阅读

相关神经网络深度学习专业术语解释（Step， Batch Size， Iteration，Epoch）

1. 名词解释 Step: 训练模型的步数 Batch Size（批尺寸）：计算梯度所需的样本数量，太小会导致效率低下，无法收敛。太大会导致内存撑不住，Batch S

爱被打了一巴掌/ 2022年12月26日 02:24/ 0 赞/ 11 阅读

相关深度学习概论：神经网络

主要介绍吴恩达《深度学习》课程中《神经网络和深度学习》第一周：深度学习概论的神经网络内容。什么是神经网络 ![这里写图片描述][20170901181337775]

布满荆棘的人生/ 2022年06月09日 09:06/ 0 赞/ 394 阅读

相关神经网络训练中的Epoch、Batch Size和迭代

为了理解这些术语有什么不同，你需要了解一些关于机器学习的术语，比如梯度下降，以帮助你理解。这里简单总结梯度下降的含义...

梦里梦外;/ 2022年06月01日 14:24/ 0 赞/ 161 阅读

相关 Epoch、Batch Size和迭代

你肯定经历过这样的时刻，看着电脑屏幕抓着头，困惑着：「为什么我会在代码中使用这三个术语，它们有什么区别吗？」因为它们看起来实在太相似了。为了理解这些术语有什么不同，你

迷南。/ 2022年05月19日 04:23/ 0 赞/ 209 阅读

相关神经网络训练中，Epoch、Batch Size和迭代傻傻分不清?

你肯定经历过这样的时刻，看着电脑屏幕抓着头，困惑着：「为什么我会在代码中使用这三个术语，它们有什么区别吗？」因为它们看起来实在太相似了。为了理解这些术语有什么不同，你需要了

古城微笑少年丶/ 2022年05月12日 15:26/ 0 赞/ 182 阅读