pytorch常见的Tensor类型

小灰灰 2021-12-22 14:47 402阅读 0赞

Tensor有不同的数据类型，每种类型分别有对应CPU和GPU版本（HalfTensor除外）。默认的Tensor是FloatTensor，可通过**torch.set\_default\_tensor\_type**修改默认tensor类型（如果默认类型为GPU tensor，则所有操作都将在GPU上进行）。Tensor的类型对分析内存占用很有帮助，例如，一个size为**(1000,1000,1000)**的FloatTensor，它有1000\*1000\*1000=10^9个元素，每一个元素占用**32bit/8=4Byte**内存，所以共占用大约4GB内存/显存。HalfTensor是专为GPU版本设计的，同样的元素个数，显存占用只有HalfTensor的一半，所以可以极大缓解GPU显存不足的问题，但是由于HalfTensor所能表示的数值大小和精度有限，所以可能出现溢出等问题。

<table> 
 <tbody> 
 <tr> 
 <td>数据类型</td> 
 <td>CPU Tensor</td> 
 <td>GPU Tensor</td> 
 </tr> 
 <tr> 
 <td>32 bit 浮点</td> 
 <td>torch.FloatTensor</td> 
 <td>torch.cuda.FloatTensor</td> 
 </tr> 
 <tr> 
 <td>64 bit 浮点</td> 
 <td>torch.DoubleTensor</td> 
 <td>torch.cuda.DoubleTensor</td> 
 </tr> 
 <tr> 
 <td>16 bit 半精度浮点</td> 
 <td>N/A</td> 
 <td>torch.cuda.HalfTensor</td> 
 </tr> 
 <tr> 
 <td>8 bit 无符号整形(0~255)</td> 
 <td>torch.ByteTensor</td> 
 <td>torch.cuda.ByteTensor</td> 
 </tr> 
 <tr> 
 <td>8 bit 有符号整形(-128~127)</td> 
 <td>torch.CharTensor</td> 
 <td>torch.cuda.CharTensor</td> 
 </tr> 
 <tr> 
 <td>16 bit 有符号整形</td> 
 <td>torch.ShortTensor</td> 
 <td>torch.cuda.ShortTensor</td> 
 </tr> 
 <tr> 
 <td>32 bit 有符号整形</td> 
 <td>torch.IntTensor</td> 
 <td>torch.cuda.IntTensor</td> 
 </tr> 
 <tr> 
 <td>64 bit 有符号整形</td> 
 <td>torch.LongTensor</td> 
 <td>torch.cuda LongTensor</td> 
 </tr> 
 </tbody> 
</table>

各数据类型之间可以互相转换，type(new\_type)是通用的做法，同时还有**float、long、half**等快捷方法。CPU tensor和GPU tensor之间的互换是通过**tensor.cuda**和**tensor.cpu**的方法实现。

如：

#设置默认tensor，注意参数是字符串
    torch.set_default_tensor_type('torch.IntTensor')
    
    a=torch.Tensor(2,3)
    print(a)    #a现在是IntTensor