多轮检索式对话——【IJCAI 2019】DGMN 基于文档背景的个性化对话

野性酷女 2022-10-21 03:42 123阅读 0赞

作者主要的研究的问题是在一定人物设定背景下的对话的个性化：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70]  
这里的人物设定被写在一个document中，即document-grounded。模型整体架构如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 1]

*  Encoding Layer  
    就是在用Self-Attention
 *  Fusion Layer  
    其实就是做了Cross-Attention：  
    ![在这里插入图片描述][20210503144802408.png]  
    ![在这里插入图片描述][20210503144812849.png]
 *  Matching Layer  
    有3个需要match的对:  \{ U i , R \} \\\{U\_i,R\\\} \{ Ui,R\}  \{ U ^ i , R \} \\\{\\hat U\_i,R\\\} \{ U^i,R\}  \{ D ^ j , R \} \\\{\\hat D\_j,R\\\} \{ D^j,R\}  
    其中： U ^ i = \[ U i , U ^ i , 1 . . . U ^ i , m \] \\hat U\_i = \[U\_i,\\hat U\_\{i,1\}... \\hat U\_\{i,m\}\] U^i=\[Ui,U^i,1...U^i,m\]  
    match的方式和[MRFN][]很相似，以 \{ U ^ i , R \} \\\{\\hat U\_i,R\\\} \{ U^i,R\} 为例：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 2]
 *  Aggregation Layer  
    用CNN从3个匹配矩阵中抽取匹配向量，连接起来，预测匹配度。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70]: /images/20221021/12b5635a9e7b41828aa7f5d21b76fb82.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 1]: /images/20221021/a94ac760a1ae46699dda07065a9bb305.png
[20210503144802408.png]: /images/20221021/53046cb0deae434c81b7707d49d7043a.png
[20210503144812849.png]: /images/20221021/fc69bb74286a4a07adb6e62c9407d4d6.png
[MRFN]: https://blog.csdn.net/u011239443/article/details/116354252?spm=1001.2014.3001.5501
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 2]: /images/20221021/6460a1a7452b4ea8adc7cbdccade0687.png