23-----张量工作流程

梦里梦外; 2023-09-27 19:38 73阅读 0赞

txtai 的许多示例和用例都侧重于转换文本。有道理，因为 txt 甚至在名称中！但这并不意味着 txtai 只适用于文本。

本文将介绍如何使用 txtai 工作流高效处理张量的示例。

安装依赖  
安装txtai和所有依赖项。我们将安装 api、pipeline 和 workflow 可选的附加包，以及数据集包  
pip install txtai\[api,pipeline,workflow\] datasets  
转换大型张量数组  
第一部分尝试对非常大的内存映射数组 (2,000,000 x 1024) 应用简单的转换。  
import numpy as np  
import torch

## Generate large memory-mapped array ##

rows, cols = 2000000, 1024  
data = np.memmap(“data.npy”, dtype=np.float32, mode=“w+”, shape=(rows, cols))  
del data

## Open memory-mapped array ##

data = np.memmap(“data.npy”, dtype=np.float32, shape=(rows, cols))

## Create tensor ##

tensor = torch.from\_numpy(data).to(“cuda:0”)

## Apply tanh transform to tensor ##

torch.tanh(tensor).shape  
torch.tanh(tensor).shape

RuntimeError: CUDA out of memory. Tried to allocate 7.63 GiB (GPU 0; 11.17 GiB total capacity; 7.63 GiB already allocated; 3.04 GiB free; 7.63 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max\_split\_size\_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH\_CUDA\_ALLOC\_CONF  
ls -l --block-size=MB data.npy  
\-rw-r–r-- 1 root root 8192MB Dec 6 23:24 data.npy  
毫不奇怪，这会耗尽 CUDA 内存。数组需要2,000,000 \* 1024 \* 4 = 8GB超过可用的

发表评论取消回复

表情：

评论列表（有 0 条评论，73人围观）

还没有评论，来说两句吧...

相关阅读

相关 23-----张量工作流程

txtai 的许多示例和用例都侧重于转换文本。有道理，因为 txt 甚至在名称中！但这并不意味着 txtai 只适用于文本。本文将介绍如何使用 txtai 工作流高效处理张

梦里梦外;/ 2023年09月27日 19:38/ 0 赞/ 74 阅读

相关一张图说明udev的工作流程

转自：http://blogas.sysadmin.lt/?p=141 ![SouthEast][] [SouthEast]: /images/20220

红太狼/ 2022年08月26日 04:59/ 0 赞/ 146 阅读

相关 activiti工作流数据库表详细介绍（23张表）

<table style="margin:0px; padding:0px; border-collapse:collapse; border-spacing:0px; ve

刺骨的言语ヽ痛彻心扉/ 2022年08月21日 04:07/ 0 赞/ 383 阅读

相关张量tensorly笔记（1）——张量基础

![这里写图片描述][70] 一个非常形象的图片表示了从标量到张量的演变过程 -------------------- 使用python里面的numpy库和ten

素颜马尾好姑娘i/ 2022年05月22日 08:24/ 0 赞/ 579 阅读

相关张量分解-张量介绍

张量分解-张量介绍 2016.06.16 张量介绍张量(tensor)是一个多维的数据存储形式，数据的的维度被称为张量的阶。它可以看成是向量和矩阵在多维空间中的推

太过爱你忘了你带给我的痛/ 2022年05月22日 05:15/ 0 赞/ 882 阅读

相关 pytorch 张量

例程1: import torch t2=torch.tensor([[0,1,2],[3,4,5]]) print(t2) print('数

「爱情、让人受尽委屈。」/ 2022年04月11日 09:55/ 0 赞/ 265 阅读

相关 Python TensorFlow，张量，张量的形状、类型、阶

张量是一个类型化的N维数组（tf.Tensor）,由三部分组成：名字，形状，数据类型。张量的阶： ![watermark_type_ZmFuZ3poZW5naGVpdGk

秒速五厘米/ 2022年03月15日 15:10/ 0 赞/ 277 阅读

相关 Python TensorFlow，张量的生成，张量运算的常用API，张量的类型转换 cast，张量的合并 concat

张量的数学函数API：[https://www.tensorflow.org/api\_docs/python/tf/math][https_www.tensorflow.or

超、凢脫俗/ 2022年03月14日 09:42/ 0 赞/ 296 阅读

相关张量求和

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5

╰+攻爆jí腚メ/ 2022年03月06日 04:44/ 0 赞/ 278 阅读

相关 TensorFlow基础：张量

一. 张量的定义不管是几阶，都是张量 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aH

迈不过友情╰/ 2022年02月20日 08:08/ 0 赞/ 285 阅读