【论文阅读】Zero-Resource Knowledge-Grounded Dialogue Generation

小咪咪 2022-08-30 11:58 17阅读 0赞

# Zero-Resource Knowledge-Grounded Dialogue Generation #

> [论文：https://arxiv.org/abs/2008.12918][https_arxiv.org_abs_2008.12918]
> 
> [代码：https://github.com/nlpxucan/ZRKGC][https_github.com_nlpxucan_ZRKGC]

## 任务 ##

神经网络对话模型需要以知识为基础的对话，而这些对话很难获得。为了克服数据方面的挑战并降低构建知识基础对话系统的成本，本文通过假设训练时不需要context-knowledge-response三要素，在零资源环境下探索这个问题。

贡献：

*  在零资源环境下探索以知识为基础的对话生成；
 *  提出了一个double latent variable model，不仅描述了连接context和response的知识，还描述了知识的表达方式；
 *  提出了一个variational学习方法；
 *  在知识为基础的对话生成的三个基准上对所提方法的有效性进行了经验验证。

## 方法（模型） ##

本文提出将连接context 和response的知识以及知识的表达方式表现为潜在变量，并设计了一种variational方法，可以有效地从对话语料和知识语料中估计出一个相互独立的生成模型。

在预训练的语言模型的基础上建立概率模型。不使用生成模型，而是建议用一个检索模型来实例化后验，在这个模型中，知识的搜索空间被限制在几个相关的候选之内。

dialogue corpus：  
 D c o v = \{ ( C i , R i ) \} i = 1 n D\_\{cov\}= \\\{(C\_i, R\_i)\\\}^n\_\{i=1\} Dcov=\{ (Ci,Ri)\}i=1n

>  C i C\_i Ci指的是dialogue context
> 
>  R i R\_i Ri指的是response

knowledge base：  
 K k g = \{ K j \} j = 1 m K\_\{kg\}= \\\{K\_j\\\}^m \_\{j=1\} Kkg=\{ Kj\}j=1m

>  K j K\_j Kj指的是一段知识，例如数据集中的句子。

模型：  
 p ( R ∣ C , K ) p(R∣C, K) p(R∣C,K)  
与外部知识关联的K和新的上下文C，根据 p ( R ∣ C , K ) p(R∣C, K) p(R∣C,K)生成响应R。

## Zero-Resource Learning Framework ##

![image-20210709120019816][]

> dialogue context C
> 
> response R
> 
> latent knowledge  Z k Z\_k Zk
> 
> grounding rate  Z α Z\_α Zα，表示根据C关于R在 Z k Z\_k Zk中携带了多少知识。

## Neural Parameterization ##

define  q ( Z k ) q(Z\_k) q(Zk) with a retrieval model：  
 q ( Z k ∣ C , R ) = e x p F ( C , R , Z k ) ∑ K ′ ∈ S ( R ) e x p F ( C , R , K ′ ) q(Z\_k∣C, R) = \\frac\{exp^\{F(C,R,Z\_k)\} \}\{∑\_\{K′∈S(R)\}exp^\{F(C,R,K')\}\} q(Zk∣C,R)=∑K′∈S(R)expF(C,R,K′)expF(C,R,Zk)

> S®表示对潜在知识的推断，该知识由相关性模型rel(⋅, ⋅)从 K k g K\_\{kg\} Kkg中通过R查询检索到的前l个结果组成。
> 
>  F （ ⋅ , ⋅ , ⋅ ） F（⋅,⋅,⋅） F（⋅,⋅,⋅）是一个三层transformer，将（c,r, z k z\_k zk）映射到匹配分数。

优化算法：

![image-20210709220311538][]

## 数据集 ##

*  Wizard
 *  TC
 *  CMU\_DoG

## 性能水平 ##

测试结果：

![image-20210710000506505][]

F1:虽然ZRKGC在基准中没有获取任何训练实例，但它仍然优于MTASK-RF、TMN和ITDD，并在所有测试集上取得了与DRD相当的性能，表明该模型能够有效地学习如何通过variational方法利用外部知识来生成响应。

ZRKGC在Test Seen和Test Unseen上几乎没有差异，该模型不受特定训练数据的影响，因此在不同主题上表现稳定，这揭示了该模型良好的泛化能力是零资源方法的优势。

## 结论 ##

对三个以知识为基础的对话生成基准的评估结果表明，本文的模型可以达到与依靠以知识为基础的对话进行训练的先进方法相当的性能，并在不同的主题和不同的数据集上表现出良好的泛化能力。

[https_arxiv.org_abs_2008.12918]: https://arxiv.org/abs/2008.12918
[https_github.com_nlpxucan_ZRKGC]: https://github.com/nlpxucan/ZRKGC
[image-20210709120019816]: /images/20220829/bd66962e2cef438ab1d5db145eb3e3f2.png
[image-20210709220311538]: /images/20220829/8108e1df57d64cb6b61be6b205229ef8.png
[image-20210710000506505]: /images/20220829/4159bf45ebd14f9ab3494fd7d6c45b48.png