多任务学习——【KDD 2018】MMoE

秒速五厘米 2023-01-19 13:53 171阅读 0赞

多任务模型通过学习不同任务的联系和差异，可提高每个任务的学习效率和质量。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70]

多任务学习的的框架广泛采用 shared-bottom 的结构，不同任务间共用底部的隐层。这种结构本质上可以减少过拟合的风险，但是效果上可能受到任务差异和数据分布带来的影响。也有一些其他结构，比如两个任务的参数不共用，但是通过对不同任务的参数增加 L2 范数的限制；也有一些对每个任务分别学习一套隐层然后学习所有隐层的组合。和 shared-bottom 结构相比，这些模型对增加了针对任务的特定参数，在任务差异会影响公共参数的情况下对最终效果有提升。缺点就是模型增加了参数量所以需要更大的数据量来训练模型，而且模型更复杂并不利于在真实生产环境中实际部署使用。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 1]

如图，**a）** 是最原始的多任务学习模型  
![在这里插入图片描述][2021051019464119.png]

**b）** 是加入单门（one gate）的MoE layer的多任务学习模型，  
![在这里插入图片描述][20210510194651570.png]  
其中：  
k 表示k个任务；  
n 表示n个expert network

**c）** 是文章提出的MMOE模型，将base的shared bottom换成了MoE layer，并对每个任务都加gate：  
![在这里插入图片描述][20210510194842490.png]  
![在这里插入图片描述][20210510194849355.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70]: /images/20221021/24df4102e28940c69f2573eb459e9274.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 1]: /images/20221021/07f664240d0f4f6ab5008c0ff1d04bc9.png
[2021051019464119.png]: /images/20221021/f354e31b42f14afda10e0d7941381eca.png
[20210510194651570.png]: /images/20221021/a8ea649af9364fb28f312f427538240d.png
[20210510194842490.png]: /images/20221021/937275418acf40ccb49d805bb4bd49a1.png
[20210510194849355.png]: /images/20221021/610bf680c38a434c96ced69cf8aac491.png