pytorch Dropout错误 noise.bernoulli_(1 - ctx.p).div_(1 - ctx.p) divide by zero

冷不防 2021-06-24 16:09 339阅读 0赞

pytorch 在计算long和float运算时会出现错误：

>>> import torch
    >>> a = torch.tensor([1,2,3], dtype=torch.long)
    >>> a + 0.5
    
     1
     2
     3
    [torch.LongTensor of size (3,)]

这对应到在long类型数据使用dropout上时有时会出现如下问题：

/usr/local/lib/python3.6/dist-packages/torch/nn/_functions/dropout.py in forward(cls, ctx, input, p, train, inplace)
         38             ctx.noise.fill_(0)
         39         else:
    ---> 40             ctx.noise.bernoulli_(1 - ctx.p).div_(1 - ctx.p)
         41         ctx.noise = ctx.noise.expand_as(input)
         42         output.mul_(ctx.noise)
    
    RuntimeError: invalid argument 3: divide by zero at /pytorch/aten/src/THC/generic/THCTensorMathPairwise.cu:88

转成float类型可以暂时解决：

>>> a
    tensor([ 100,    3,  100])
    >>> a.float()
    tensor([ 100.,    3.,  100.])
    >>> d
    Dropout(p=0.5)
    >>> d(a.float())
    tensor([ 200.,    0.,    0.]) # works fine
    >>> d(a)
    Floating point exception # throws error

暂时解决办法：

dropout_p = 0.1
    dropout = torch.nn.Droupout(p=droupout_p)
    if self.training:
        x_ = dropout(inputs.float())
        print(x_)
        inputs = torch.round(x_.mul(1-dropout_p)).long()  #round用来解决浮点数的误差问题 
        print(inputs)

[参考自][Link 1]

[Link 1]: https://github.com/pytorch/pytorch/issues/7042

发表评论取消回复

表情：

评论列表（有 0 条评论，339人围观）

还没有评论，来说两句吧...

相关阅读

相关解决RuntimeWarning: divide by zero encountered in double_scalars

目录解决"RuntimeWarning: divide by zero encountered in double\_scalars" 问题描述原因分析解决方法

柔情只为你懂/ 2024年02月23日 06:02/ 0 赞/ 51 阅读

相关 PyTorch 基础篇（1）：Pytorch 基础

Pytorch 学习开始入门的材料来自两个地方：第一个是官网教程：WELCOME TO PYTORCH TUTORIALS，特别是官网的六十分钟入门教程 DEEP L

系统管理员/ 2024年02月05日 12:40/ 0 赞/ 42 阅读

相关 RuntimeWarning: divide by zero encountered in log错误解决

问题描述最近在学习《机器学习实战》这本书时，朴素贝叶斯那里遇到了这样的问题。 def train_native_bayes(train_matrix,trai

╰+哭是因爲堅強的太久メ/ 2023年09月28日 13:50/ 0 赞/ 20 阅读

相关 pytorch Dropout

减低过拟合，一般可以通过：加大训练集、loss function 加入正则化项、Dropout 等途径。本文的主要作用是展示dropout 的作用设置Dropout时，to

怼烎@/ 2023年06月27日 06:29/ 0 赞/ 43 阅读

相关 torch.zeros() - v1.5.0

torch.zeros() - v1.5.0 torch [https://pytorch.org/docs/stable/torch.html][https_py

青旅半醒/ 2023年02月17日 13:29/ 0 赞/ 7 阅读

相关解决PHP提示Warning: Division by zero in错误

一、原因：division by zero 是"除数是0"导致的错误二、解决方法一、运行前判断如果除数为0，则不要计算（推荐） if ($retri

- 日理万妓/ 2023年01月12日 11:50/ 0 赞/ 127 阅读

相关错误 finished with non-zero exit value 1

今天在写程序的时候发生一个错误，希望拿出来让大家看一看，以后不要犯这样的错误。直接上图![Center][] 这个错误我很快就找到了，哪里出了错，但是感觉这个错误还是比较

Bertha 。/ 2022年08月21日 01:04/ 0 赞/ 16 阅读

相关 Editorial Divide by Zero and Codeforces Round #399 (Div. 1+2, combined) (A~F)

[CF \399][CF _399] A题:水题代码： include<bits/stdc++.h> using namespace std;

素颜马尾好姑娘i/ 2022年07月12日 11:48/ 0 赞/ 138 阅读

相关 Codeforces 977D. Divide by three, multiply by two

Divide by three, multiply by two Polycarp likes to play with numbers. He takes some i

喜欢ヅ旅行/ 2022年04月05日 08:42/ 0 赞/ 181 阅读

相关 pytorch Dropout错误 noise.bernoulli_(1 - ctx.p).div_(1 - ctx.p) divide by zero

pytorch 在计算long和float运算时会出现错误： >>> import torch >>> a = torch.tensor([1,2,3], d

冷不防/ 2021年06月24日 16:09/ 0 赞/ 340 阅读