PyTorch模型在TensorRT部署小结

左手的ㄟ右手 2023-10-14 11:26 19阅读 0赞

为了模型推理的加速，我们需要将模型在TensorRT上进行部署，这里我们讨论模型来自PyTorch的情况。部署有多种不同的方式，下面分别进行说明：

### 1. **PyTorch“原型”部署** ###

这里的原型指的是原始模型部署，即模型不经过压缩和优化。这种情况的部署方式主要有两种：

#### **1.1 通过ONNX部署** ####

![accf063c1efb98af155392486dc55a89.png][]

图1 PyTorch--ONNX部署整体流程图

详细可以参考文档《[如何将模型从 PyTorch 转换为 TensorRT 并加速推理][PyTorch _ TensorRT]》。

#### **1.2 使用Torch-TensorRT部署** ####

![9412be114c5c71fb31dd90084b556ae4.png][]

图2 Torch-TensorRT部署流程图

详细可以参考文档《[使用 Torch-TensorRT 在 PyTorch 中加速推理速度高达 6 倍][Torch-TensorRT _ PyTorch _ 6]》。

### 2. **PyTorch"压缩" 部署** ###

对PyTorch模型进行压缩的方法主要有三种：量化（Quantization）、剪枝（Pruning）、蒸馏（Distillation）。关于这三种方法介绍，可以参考文档：

● 量化：[机器学习量化基础知识][Link 1]  
● 量化：[如何通过量化加速和压缩神经网络][Link 2]  
● 剪枝：[通过修剪进行模型压缩][Link 3]  
● 蒸馏：[知识蒸馏：原理、算法、应用][Link 4]

#### **2.1 量化** ####

量化又有两类方法：PTQ（**Post-training quantization：训练后量化**）和QAT（**Quantization-aware training：量化感知训练**）。

**1) PTQ**

![cb6642c84188e269d151c39b863b95c3.png][]

图3 PTQ部署流程图

详细可以参考文档《[INT8 中的稀疏性：NVIDIA TensorRT 加速的训练工作流程和最佳实践][INT8 _NVIDIA TensorRT]》。

**2) QAT**

![dba0b124a6d614650410c81683c2bcaf.png][]

图4 QAT部署流程图

详细可以参考文档《[INT8 中的稀疏性：NVIDIA TensorRT 加速的训练工作流程和最佳实践][INT8 _NVIDIA TensorRT]》。

#### **2.2 剪枝** ####

![df6780758ee56cbe8d04d5c38ff5ce2c.png][]

图5 剪枝部署流程图

详细可以参考文档《[INT8 中的稀疏性：NVIDIA TensorRT 加速的训练工作流程和最佳实践][INT8 _NVIDIA TensorRT]》。

#### **2.3 蒸馏** ####

![44a89a0cb881d808307742c08b651445.png][]

图6 蒸馏部署流程图

详细可以参考文档《[Knowledge Distillation][]》。

#### **2.4 量化+剪枝** ####

![3231d137b8286b14ce6d729b9f74ad53.png][]

图7 量化+剪枝整体流程图

详细可以参考文档《[INT8 中的稀疏性：NVIDIA TensorRT 加速的训练工作流程和最佳实践][INT8 _NVIDIA TensorRT]》。

--------------------

[PyTorch模型在TensorRT部署小结 - 知乎][PyTorch_TensorRT_ -]

[INT8 中的稀疏性：NVIDIA TensorRT 加速的训练工作流程和最佳实践 - 知乎][INT8 _NVIDIA TensorRT]

[accf063c1efb98af155392486dc55a89.png]: https://img-blog.csdnimg.cn/img_convert/accf063c1efb98af155392486dc55a89.png
[PyTorch _ TensorRT]: https://zhuanlan.zhihu.com/p/637573579
[9412be114c5c71fb31dd90084b556ae4.png]: https://img-blog.csdnimg.cn/img_convert/9412be114c5c71fb31dd90084b556ae4.png
[Torch-TensorRT _ PyTorch _ 6]: https://zhuanlan.zhihu.com/p/637539550
[Link 1]: https://zhuanlan.zhihu.com/p/636768767
[Link 2]: https://zhuanlan.zhihu.com/p/636821579
[Link 3]: https://zhuanlan.zhihu.com/p/636999238
[Link 4]: https://zhuanlan.zhihu.com/p/637108617
[cb6642c84188e269d151c39b863b95c3.png]: https://img-blog.csdnimg.cn/img_convert/cb6642c84188e269d151c39b863b95c3.png
[INT8 _NVIDIA TensorRT]: https://zhuanlan.zhihu.com/p/638171472
[dba0b124a6d614650410c81683c2bcaf.png]: https://img-blog.csdnimg.cn/img_convert/dba0b124a6d614650410c81683c2bcaf.png
[df6780758ee56cbe8d04d5c38ff5ce2c.png]: https://img-blog.csdnimg.cn/img_convert/df6780758ee56cbe8d04d5c38ff5ce2c.png
[44a89a0cb881d808307742c08b651445.png]: https://img-blog.csdnimg.cn/img_convert/44a89a0cb881d808307742c08b651445.png
[Knowledge Distillation]: https://link.zhihu.com/?target=https%3A//josehoras.github.io/knowledge-distillation/
[3231d137b8286b14ce6d729b9f74ad53.png]: https://img-blog.csdnimg.cn/img_convert/3231d137b8286b14ce6d729b9f74ad53.png
[PyTorch_TensorRT_ -]: https://zhuanlan.zhihu.com/p/638250792