PyTorch碎片：深刻透彻理解Torch中Tensor.contiguous()函数

朱雀 2023-07-24 14:43 158阅读 0赞

# 1.函数定义 #

> Returns a contiguous tensor containing the same data as self tensor.
> 
> 返回一个与原始tensor相同元素数据的 “连续”tensor类型
> 
> If self tensor is contiguous, this function returns the self tensor.
> 
> 如果原始tensor本身就是连续的，则返回原始tensor

# 2.定义理解 #

定义本身有两个重要的点：

>  *  **对原始tensor进行复制**
>  *  **返回contiguous“类型”的一个tensor**

Tensor.contiguous()函数不会对原始数据进行任何修改，而仅仅对其进行复制，并在内存空间上进行对齐，即在内存空间上，tensor元素的内存地址保持连续。

这么做的目的是，在对tensor元素进行转换和维度变换等操作之后，元素地址在内存空间中保证连续性，在后续利用指针对tensor元素进行读取时，能够减少读取便利，提高内存空间优化。

# 3.数据案例分析 #

import torch
    src_t = torch.randn((2,3))
    print(src_t.shape)
    print(src_t.is_contiguous())

输出：

>>> torch.Size([2, 3])
    >>> True

可以看出，在利用torch.randn函数进行tensor创建时，获取的tensor元素地址是连续内存空间保存的。那么，如果对创建的tensor进行transpose变换操作：

trans_t = src_t.transpose(0,1) 
    print(trans_t.shape)
    print(trans_t.is_contiguous())

输出：

>>> torch.Size([3, 2])
    >>> False

我们发现经过transpose变换以后，tensor变成非连续保存类型(uncontiguous)。

那么，变成这种非连续保存类型会造成什么样的后果呢？

简单的以view函数为例：

trans_t.view(-1,3)

当尝试对uncontiguous类型tensor进行维度变换时，就会出现下面错误：

Traceback (most recent call last):
    File "<stdin>", line 1, in <module>
    RuntimeError: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead.

错误提示告诉我们，至少有一个维度数据在内存空间上跨越了两个连续子空间！此时，我们输出trans\_t的连续保存类型是什么：

print(trans_t.is_contiguous())

>>> False

因此，为了能够实现对张量trans\_t的维度变换，需要先对tensor进行contiguous内存地址对齐操作，然后再进行view操作：

print(trans_t.shape)
    trans_t.contiguous().view(-1,3)
    print(trans_t.shape)

>>> torch.Size([3, 2])
    >>> torch.Size([2, 3])

# 4.总结 #

总结一下，为了保证代码的可读性和严谨性，当对tensor进行维度变化时，常需要配合contiguous函数使用，但是哪些函数会造成原始tensor变的uncontiguous呢？

>  *  **transpose()**
>  *  **narrow()**
>  *  **expand()**

有其他函数，我会进一步补充，有错误欢迎指正，谢谢！

发表评论取消回复

表情：

评论列表（有 0 条评论，158人围观）

还没有评论，来说两句吧...

相关阅读

相关 PyTorch中torch.nn.Linear详解

PyTorch中torch.nn.Linear详解神经网络常常需要进行线性变换操作，torch.nn.Linear就是一个十分常用的实现线性变换的方法之一。本篇文章将会介绍

超、凢脫俗/ 2024年03月26日 20:45/ 0 赞/ 82 阅读

相关深入浅出PyTorch函数torch.rand与torch.randn

> `torch.rand` 和 `torch.randn` 都是PyTorch中用于生成随机张量的函数，但它们生成随机数的方式有所不同。一、torch.rand !

灰太狼/ 2024年03月08日 02:33/ 0 赞/ 85 阅读

相关 Pytorch torch.norm函数详解用法

torch.norm参数定义 torch版本1.6 def norm(input, p="fro", dim=None, keepdim=False, out=

向右看齐/ 2024年02月06日 06:18/ 0 赞/ 68 阅读

相关 Pytorch模型加载函数：torch.load()

一、torch.load()的作用：用来加载torch.save() 保存的模型文件 torch.load()先在CPU上加载，不会依赖于保存模型的设备。如果加载失败，可

梦里梦外;/ 2023年10月02日 10:46/ 0 赞/ 15 阅读

相关 PyTorch碎片：深刻透彻理解Torch中Tensor.contiguous()函数

1.函数定义 > Returns a contiguous tensor containing the same data as self tensor. > > 返回

朱雀/ 2023年07月24日 14:43/ 0 赞/ 159 阅读

相关 PyTorch - torch.onnx

PyTorch - torch.onnx Table of Contents (目录) PyTorch Tutorials [https://pytorch.org

灰太狼/ 2022年12月23日 03:28/ 0 赞/ 211 阅读

相关理解 PyTorch 中的 gather 函数

好久没更新博客了，最近一直在忙，既有生活上的也有工作上的。道阻且长啊。今天来水一文，说一说最近工作上遇到的一个函数：[`torch.gather()`][torch.gat

我会带着你远行/ 2022年09月09日 06:03/ 0 赞/ 212 阅读

相关 pytorch:torch.mm()和torch.matmul()

torch.matmul()没有强制规定维度和大小，可以用利用广播机制进行不同维度的相乘操作 `torch.mm(a, b)`是矩阵a和b矩阵相乘，比如a的维度是(m, x)

r囧r小猫/ 2022年09月05日 04:06/ 0 赞/ 235 阅读

相关 torch中关于torch.max()和torch.min()函数的理解

简介在tensor类型的数据中，max和min函数常用来比较两个tensor数据的大小，或者取出tensor数据中的最大值。关于max函数和min函数的用法有以下几种

我会带着你远行/ 2021年12月12日 14:33/ 0 赞/ 1845 阅读

相关 pytorch torch.Stroage();torch.cuda()

转自：[https://ptorch.com/news/52.html][https_ptorch.com_news_52.html] `torch.Storage`是

偏执的太偏执、/ 2021年10月25日 13:20/ 0 赞/ 429 阅读