pytorch解决两个GPU同时训练问题。

Dear 丶 2023-03-14 05:47 30阅读 0赞

# 解决两个GPU同时训练问题。 #

##### 使用场景 #####

--------------------

我有两个GPU卡。我希望我两个GPU能并行运行两个网络模型。

##### 代码 #####

错误代码1：

#对于0号GPU
    os.environ['CUDA_VISIBLE_DEVICES']='0,1'
    device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
    
    #对于1号GPU
    os.environ['CUDA_VISIBLE_DEVICES']='0,1'
    device = torch.device("cuda:1" if torch.cuda.is_available() else "cpu")

0号GPU不报错，1号GPU报错。错误如下  
RuntimeError: Expected tensor for argument \#1 ‘input’ to have the same device as tensor for argument \#2 ‘weight’; but device 0 does not equal 1 (while checking arguments for cudnn\_convolution)

错误代码2：

#对于0号GPU
    os.environ['CUDA_VISIBLE_DEVICES']='0'
    device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
    
    #对于1号GPU
    os.environ['CUDA_VISIBLE_DEVICES']='1'
    device = torch.device("cuda:1" if torch.cuda.is_available() else "cpu")

0号GPU不报错，1号GPU报错。错误如下  
CUDA: invalid device ordinal  
正确代码如下：

#对于0号GPU
    os.environ['CUDA_VISIBLE_DEVICES']='0'
    device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
    
    #对于1号GPU
    os.environ['CUDA_VISIBLE_DEVICES']='1'
    device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

发表评论取消回复

表情：

评论列表（有 0 条评论，30人围观）

还没有评论，来说两句吧...

相关阅读

相关 Pytorch实现多GPU分布式训练

-------------------- -------------------- -------------------- 参考资料： [Pytorch 分布式训练

女爷i/ 2023年10月02日 10:39/ 0 赞/ 36 阅读

相关 pytorch解决两个GPU同时训练问题。

解决两个GPU同时训练问题。使用场景 -------------------- 我有两个GPU卡。我希望我两个GPU能并行运行两个网络模型。代码错误

Dear 丶/ 2023年03月14日 05:47/ 0 赞/ 31 阅读

相关 Pytorch 串行训练两个网络

RuntimeError: Trying to backward through the graph a second time, but the buffers ha

青旅半醒/ 2022年12月22日 09:11/ 0 赞/ 185 阅读

相关 PyTorch 使用DataParallel()实现多GPU训练

转载请注明作者和出处： [http://blog.csdn.net/john\_bh/][http_blog.csdn.net_john_bh] 文章目录

迈不过友情╰/ 2022年11月29日 05:59/ 0 赞/ 240 阅读

相关 pytorch多GPU训练

个人微信公众号 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG

我就是我/ 2022年11月15日 01:18/ 0 赞/ 235 阅读

相关 Pytorch同时迭代两个数据集

from __future__ import print_function, division, absolute_import import argparse

╰+攻爆jí腚メ/ 2022年11月11日 05:50/ 0 赞/ 263 阅读

相关 pytorch设置gpu进行训练

接上一篇[安装gpu版本pytorch][gpu_pytorch]后，这篇描述设置gpu进行训练（1）模型设置 cuda_gpu = torch.cuda.is_

- 日理万妓/ 2022年10月01日 06:42/ 0 赞/ 210 阅读

相关 pytorch使用多GPU训练MNIST

下面的代码参数没有调试，可能准确率不高，仅仅供参考代码格式。 import argparse import torch import torch.nn

喜欢ヅ旅行/ 2022年05月16日 11:08/ 0 赞/ 240 阅读

相关 Pytorch中多GPU训练指北

前言在数据越来越多的时代，随着模型规模参数的增多，以及数据量的不断提升，使用多GPU去训练是不可避免的事情。Pytorch在0.4.0及以后的版本中已经提供了多GPU训

小咪咪/ 2021年10月29日 10:24/ 0 赞/ 416 阅读

相关 [Pytorch学习]在GPU上训练

Pytorch学习之在GPU上训练主要分为以下： 1. 定义GPU device=torch.device("cuda:0"if torch.cuda.i

àì夳堔傛蜴生んèń/ 2021年09月28日 09:46/ 0 赞/ 376 阅读