BERT等复杂深度学习模型加速推理方法——模型蒸馏

本是古典何须时尚 2022-11-26 09:55 277阅读 0赞

**参考《Distilling the Knowledge in a Neural Network》Hinton等**

# 蒸馏的作用 #

首先，什么是蒸馏，可以做什么？

正常来说，越复杂的深度学习网络，例如大名鼎鼎的**BERT**，其拟合效果越好，但伴随着推理（预测）速度越慢的问题。

此时，`模型蒸馏`就派上用场了，其目的就是为了在尽量减少模型精度的损失的前提下，大大的提升模型的推理速度。

## 实现方法 ##

其实，模型蒸馏的思想很简单。

第一步，训练好原本的复杂网络模型，如BERT，我们称为`Teacher模型`；

第二步，用一个较为简单的模型去拟合Teacher模型，称为`Student模型`；

最后，利用训练好的Student模型进行推理预测。

## 细节要点 ##

Student模型如何拟合Teacher模型？

首先，我们要理解soft targets（软标签）和hard targets（硬标签）。

`soft targets`：属于不同标签的概率，一般是softmax的计算结果。例如，我们的标签是“男”和“女”两种，那么软标签的形式应该就是（0.4，0.6）。

`hard targets`：属于哪一种标签。例如，该样本的标签是“男”，那么硬标签就是（1，0）。

在模型蒸馏中，Student模型应该是去拟合Teacher模型推理的soft targets，因为soft targets包含的信息更多。

那么，Student模型的Loss为：

L o s s = C r o s s e n t r o p y ( s , t ) Loss=Cross entropy(s, t) Loss=Crossentropy(s,t)

s表示Student模型推理的soft targets，t表示Teacher模型推理的soft targets

### 补充 ###

有些人认为把hard targets也加进去Student的Loss中，即：

L o s s = C r o s s e n t r o p y ( s , t ) + C r o s s e n t r o p y ( s , y ) Loss=Cross entropy(s, t)+Cross entropy(s, y) Loss=Crossentropy(s,t)\+Crossentropy(s,y)

y表示样本的真实标签（hard targets）。

### Student模型 ###

引用自美团技术团队：

**我们使用IDCNN-CRF来近似BERT实体识别模型，IDCNN（Iterated Dilated CNN）是一种多层CNN网络，其中低层卷积使用普通卷积操作，通过滑动窗口圈定的位置进行加权求和得到卷积结果，此时滑动窗口圈定的各个位置的距离间隔等于1。高层卷积使用膨胀卷积（Atrous Convolution）操作，滑动窗口圈定的各个位置的距离间隔等于d（d>1）。通过在高层使用膨胀卷积可以减少卷积计算量，同时在序列依赖计算上也不会有损失。在文本挖掘中，IDCNN常用于对LSTM进行替换。实验结果表明，相较于原始BERT模型，在没有明显精度损失的前提下，蒸馏模型的在线预测速度有数十倍的提升。**

# 蒸馏训练 #

**第一种方法：**

在离线的情况下，将Teacher模型对所有样本的推理结果存入磁盘中，然后Student模型从磁盘中读取样本及Teacher模型推理的软标签，进行模型训练。

**第二种方法：**

将Teacher模型和Student模型同时加载到网络中，但将Teacher模型冻结，只进行前向传播，不进行反向传播更新参数；然后将前向传播的结果传递给Student模型的Loss中，训练Student模型。

**第三种方法：**

方法2存在这样的缺点：每一个batch，Student模型都需要等待Teacher模型推理结束才能进行反向传播，影响训练速度。

那我们就可以将Teacher模型和Student模型分开部署，进行异步计算。Teacher模型只需要前向传播，而Student模型需要前向和反向传播，在处理时间上可能处于一个持平的状态。

发表评论取消回复

表情：

评论列表（有 0 条评论，277人围观）

还没有评论，来说两句吧...

相关阅读

相关 “PyTorch JIT 编译器：加速深度学习模型“

“PyTorch JIT 编译器：加速深度学习模型” PyTorch JIT（即时编译器）是 PyTorch 框架中的一项重要功能，可以将 Python 代码实时编译成本地机

╰+哭是因爲堅強的太久メ/ 2024年03月24日 10:39/ 0 赞/ 107 阅读

相关大模型推理加速工具：vLLM

TL;DR 采用了 PagedAttention，可以有效管理 attention 的 keys、values 吞吐量最多可以达到 huggingface 实

傷城~/ 2024年02月19日 11:14/ 0 赞/ 55 阅读

相关 NLP-预训练模型-2019-NLU：TinyBert【轻量级Bert】【采用知识蒸馏的方法来压缩Bert模型】

[《原始论文：TinyBERT: Distilling BERT for Natural Language Understanding》][TinyBERT_ Distilli

阳光穿透心脏的1/2处/ 2023年10月05日 19:22/ 0 赞/ 59 阅读

相关 Bert中文分类模型：训练+推理+部署

BERT（Bidirectional Encoder Representation from Transformers）是google-research在2018年10月提出的

骑猪看日落/ 2023年09月28日 08:15/ 0 赞/ 135 阅读

相关深度学习模型压缩加速

目录前言深度学习模型压缩加速原理和方法为什么需要模型压缩和加速？深度学习模型压缩的方法前端压缩的方法

痛定思痛。/ 2022年12月21日 11:00/ 0 赞/ 175 阅读

相关 BERT等复杂深度学习模型加速推理方法——模型蒸馏

参考《Distilling the Knowledge in a Neural Network》Hinton等蒸馏的作用首先，什么是蒸馏，可以做什么？正常来说，

本是古典何须时尚/ 2022年11月26日 09:55/ 0 赞/ 278 阅读

相关深度学习模型压缩与加速综述

> 写在前面：大家好！我是【AI 菌】。我`热爱AI、热爱分享、热爱开源`！这博客是我对学习的一点总结与记录。如果您也对 `深度学习、机器视觉、算法、Python、C++`

深藏阁楼爱情的钟/ 2022年10月23日 01:54/ 0 赞/ 56 阅读

相关深度学习模型大小与模型推理速度的探讨

导读 ![1deab23f895f63a95f0805a04828c2a9.gif][] 作者：田子宸，毕业于浙江大学，就职于商汤，文章经过作者同意转载。本文将对

悠悠/ 2022年08月28日 08:49/ 0 赞/ 213 阅读

相关深度学习模型压缩与加速综述

点击上方“小白学视觉”，选择加"星标"或“置顶” 重磅干货，第一时间送达导读本文详细介绍了4种主流的压缩与加速技术：结构优化、剪枝、量化、知识蒸馏，作者分别从

╰+哭是因爲堅強的太久メ/ 2022年08月28日 00:49/ 0 赞/ 276 阅读

相关深度学习：BERT模型

ELMO模型 ELMo的整体图。第一使用了多层LSTM，第二增加了后向语言模型（backward LM）。 ![watermark_type_ZmFuZ3poZW5na

梦里梦外;/ 2022年04月05日 06:18/ 0 赞/ 587 阅读