神经网络2. epoch， iteration， batchsize相关理解和说明

以你之姓@ 2022-03-25 11:48 194阅读 0赞

本文为原创文章转载请注明出处：http://blog.csdn.NET/qq\_20259459 和作者信息。

原文超链接（点击阅读原文）

batchsize：中文翻译为批大小（批尺寸）。

简单点说，批量大小将决定我们一次训练的样本数目。  
batch\_size将影响到模型的优化程度和速度。  
为什么需要有 Batch\_Size :

batchsize 的正确选择是为了在内存效率和内存容量之间寻找最佳平衡。

Batch\_Size的取值：

![lU3sx.png][]

全批次（蓝色）

如果数据集比较小我们就采用全数据集。全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。

注：对于大的数据集我们不能使用全批次，因为会得到更差的结果。

迷你批次（绿色）

选择一个适中的 Batch\_Size 值。就是说我们选定一个batch的大小后，将会以batch的大小将数据输入深度学习的网络中，然后计算这个batch的所有样本的平均损失，即代价函数是所有样本的平均。

随机（batch\_size等于1的情况）（红色）

每次修正方向以各自样本的梯度方向修正，横冲直撞各自为政，难以达到收敛。

适当的增加Batchsize 的优点：

1.通过并行化提高内存利用率。

2.单次epoch的迭代次数减少，提高运行速度。（单次epoch=（全部训练样本/batchsize） / iteration =1）

3.适当的增加Batch\_Size，梯度下降方向准确度增加，训练震动的幅度减小。（看上图便可知晓）

经验总结：  
相对于正常数据集，如果Batch\_Size过小，训练数据就会非常难收敛，从而导致underfitting。  
增大Batch\_Size，相对处理速度加快。  
增大Batch\_Size，所需内存容量增加（epoch的次数需要增加以达到最好结果）。

这里我们发现上面两个矛盾的问题，因为当epoch增加以后同样也会导致耗时增加从而速度下降。因此我们需要寻找最好的batch\_size。

再次重申：batchsize 的正确选择是为了在内存效率和内存容量之间寻找最佳平衡。

iteration: 中文翻译为迭代。

迭代是重复反馈的动作，神经网络中我们希望通过迭代进行多次的训练以到达所需的目标或结果。

每一次迭代得到的结果都会被作为下一次迭代的初始值。

一个迭代 = 一个正向通过+一个反向通过

epoch：中文翻译为时期。

一个时期 = 所有训练样本的一个正向传递和一个反向传递。

本文为原创文章转载请注明出处：http://blog.csdn.NET/qq\_20259459 和作者信息。  
\---------------------  
作者：JINWEI93  
来源：CSDN  
原文：https://blog.csdn.net/qq\_20259459/article/details/53943413  
版权声明：本文为博主原创文章，转载请附上博文链接！

[lU3sx.png]: https://i.stack.imgur.com/lU3sx.png

发表评论取消回复

表情：

评论列表（有 0 条评论，194人围观）

还没有评论，来说两句吧...

相关阅读

相关神经网络训练中Epoch、batch_size、iterator的关系

为了理解这些术语的不同，需要先了解些机器学习术语，如：梯度下降梯度下降这是一个在机器学习中用于寻找最佳结果（曲线的最小值）的迭代优化算法。梯度的含义是斜率或者斜坡的

妖狐艹你老母/ 2023年05月31日 02:45/ 0 赞/ 21 阅读

相关神经网络深度学习专业术语解释（Step， Batch Size， Iteration，Epoch）

1. 名词解释 Step: 训练模型的步数 Batch Size（批尺寸）：计算梯度所需的样本数量，太小会导致效率低下，无法收敛。太大会导致内存撑不住，Batch S

爱被打了一巴掌/ 2022年12月26日 02:24/ 0 赞/ 24 阅读

相关 Batch, Iteration,Epoch概念理解

训练过程种Batch, Iteration,Epoch概念理解以Mnist数据集为例，Mnist数据集共有6000张训练样本。假设现在选择 Batch\_Size =

素颜马尾好姑娘i/ 2022年12月05日 01:37/ 0 赞/ 130 阅读

相关 epoch和iteration的区别

epoch——使用整个训练样本集传播一次。一次传播 = 一次前向传播 + 一次后向传播。（所有的训练样本完成一次Forword运算以及一次BP运算）但是考虑到内存不够用

港控/mmm°/ 2022年09月27日 15:30/ 0 赞/ 169 阅读

相关深度学习笔记_基本概念_神经网络中的epoch、batch_size和iteration

目录一、epoch、batch\_size和iteration名词解释，关系描述二、问题思考三、总结 -------------------- 一、epoch

痛定思痛。/ 2022年09月11日 12:20/ 0 赞/ 211 阅读

相关 iteration, batchsize, epoch定义、区别和联系

iteration：数据进行一次前向-后向的训练，就是更新一次参数； batchsize：每次迭代（iteration）训练图片的数量； epoch：1个epoch就

布满荆棘的人生/ 2022年05月24日 11:40/ 0 赞/ 199 阅读

相关训练神经网络中的基本概念之epoch batch iteration

-------------------- 引言 1. epochs : 当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一个 e

港控/mmm°/ 2022年04月06日 05:56/ 0 赞/ 481 阅读

相关神经网络2. epoch， iteration， batchsize相关理解和说明

本文为原创文章转载请注明出处：http://blog.csdn.NET/qq\_20259459 和作者信息。原文超链接（点击阅读原文） batchsize：中文翻译为批

以你之姓@/ 2022年03月25日 11:48/ 0 赞/ 195 阅读

相关神经网络中Epoch、Iteration、Batchsize辨析

1.深度学习中经常看到epoch、iteration和batchsize，三者区别：（1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集

谁借莪１个温暖的怀抱￠/ 2022年02月28日 08:22/ 0 赞/ 236 阅读

相关深度学习中的epoch、 iteration、batchsize和dropout的含义

1.batchsize（批大小）：在深度学习中，一般采用stochastic gradient descent（SGD）随机梯度下降训练，即每次训练在训练集中取batc

Love The Way You Lie/ 2022年02月18日 13:45/ 0 赞/ 407 阅读