PyTorch 1.8炼丹：不必NVIDIA，支持AMD GPU ！

水深无声 2023-01-13 09:11 112阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

作者丨梦晨 来源丨量子位

1.8版本中，官方终于加入了对**AMD ROCm**的支持，可以方便的在原生环境下运行，不用去配置Docker了。![8ad844151a66ad6cda0e369ee7dc32dd.png][]

AMD ROCm只支持Linux操作系统

1.8版本集合了自2020年10月1.7发布以来的超过3000次GitHub提交。此外，本次更新还有诸多亮点：

*  优化代码，更新编译器
 *  Python内函数转换
 *  增强分布式训练
 *  新的移动端教程与演示
 *  新的性能检测工具

相关的库TorchCSPRNG, TorchVision, TorchText和TorchAudio也会随之更新。要注意的是，自1.6起，Pytorch新特性将分为Stable、Beta、Prototype三种版本。其中Prototype不会包含到稳定发行版中，需要从Nightly版本自行编译。

## Python to Python函数转换 ##

新增的Beta特性**torch.fx**可以实现Python到Python的函数转换，可以方便的加入任何工作流程。![97efa1201c71460284655d3f5a4d9833.png][]

## 新的API，向NumPy学习！ ##

1.7版本中增加的Beta特性**torch.fft**已成为正式特性。实现了与Numpy中的np.fft类似的快速傅立叶变换，还增加了硬件加速支持与自动求导，以更好的支持科学计算。还增加了Beta版NumPy风格的线性代数模块**torch.linalg**，支持Cholesky分解、行列式、特征值等功能。

## 增强分布式训练 ##

增加了稳定的异步错误与超时处理，增加NCCL的可靠性。增加了Beta版的**流水线并行功能****\***（Pipeline Parallelism）\*，可将数据拆解成更小的块以提高并行计算效率。  
![a5885c7fb195b04f95618bb912c67615.png][]

###### Pipeline Parallelism使用4个GPU时的工作示意图 ######

增加Beta版的**DDP通讯钩子**，用于控制如何在workers之间同步梯度。

另外还有一些Prototype版的分布式训练新特性。

**ZeroRedundancyOptimizer**：用于减少所有参与进程的内存占用。

**Process Group NCCL Send/Recv**：让用户可在Python而不是C++上进行集合运算。

**CUDA-support in RPC using TensorPipe**：增加对N卡多卡运算的效率。

**Remote Module**：让用户像操作本地模块一样操作远程模块。

## 移动端新教程 ##

随本次更新发布了图像分割模型**DeepLabV3**在安卓和IOS上的详细教程。以及图像分割、目标检测、神经机器翻译等在安卓和IOS上的演示程序，方便大家更快上手。![c305c0bc7412e5ae773e787bc51d96f0.png][]  
![8c57235c061608256ea87cab6808177f.png][]![5766880fb4c879ef6a1887da5a27bc10.png][]另外还有**PyTorch Mobile Lite Interprete****r**解释器，可以减少运行时文件的大小。

## 性能检测工具 ##

增加Beta版的**Benchmark utils**，用户可以进行精确的性能测试。以及Prototype版的**FX Graph Mode Quantization**，实现了量化过程的自动化。更多新版本详情，见下方链接????。

**参考链接：**  
\[1\]https://pytorch.org/blog/pytorch-1.8-released/  
\[2\]https://twitter.com/cHHillee/status/1367621538791317504

**猜您喜欢：**

![92713b23b703217b57e198673158ca76.png][]

![d8ff89477231e8eb3a90cdaece7c59f3.png][]

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

**[附下载 |《TensorFlow 2.0 深度学习算法实战》][_TensorFlow 2.0]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![eb7f72643320732214a3d5c25c005f71.png][]

[8ad844151a66ad6cda0e369ee7dc32dd.png]: /images/20221022/c26c33631e954014894d9f5f4096cc00.png
[97efa1201c71460284655d3f5a4d9833.png]: /images/20221022/068a5dbf9482491cb0f14af806214fd3.png
[a5885c7fb195b04f95618bb912c67615.png]: /images/20221022/e0c32fd11b47403f8a4f1cbe36d6b5d9.png
[c305c0bc7412e5ae773e787bc51d96f0.png]: /images/20221022/29fc36a483f5483b860fc03a0fad4068.png
[8c57235c061608256ea87cab6808177f.png]: https://img-blog.csdnimg.cn/img_convert/8c57235c061608256ea87cab6808177f.png
[5766880fb4c879ef6a1887da5a27bc10.png]: /images/20221022/6f0bdb1d7ee3442aa54044ab7ac44562.png
[92713b23b703217b57e198673158ca76.png]: /images/20221022/137542e01270405da0d819c56d120f36.png
[d8ff89477231e8eb3a90cdaece7c59f3.png]: /images/20221022/8560324f81b9411fab00aa375fcb9542.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[eb7f72643320732214a3d5c25c005f71.png]: /images/20221022/f9b524b3bb85425980cdda368b5f88d5.png