可控文本生成《Toward Controlled Generation of Text》

以你之姓@ 2022-02-16 08:26 290阅读 0赞

文章链接：http://pdfs.semanticscholar.org/efbc/200feab74e5087c4005d8759e5dadb3a3077.pdf

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 1][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 2][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 3][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 4][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 5][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 6][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 7][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 8][]![20190425205327478.png][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 9][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 10][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 11][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 12][]![20190425212208668.png][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 13][]

1)  文本生成过程：通过VAE网络重建输入文本。

2）模型对生成信息的控制：

2.1）在VAE网络的隐藏层中加入unstructure变量c，作为attribute的信息输入。

2.2）模型中加入了discriminator作为分类器，将生成语句作为输入，重建structure变量，文章中对于每一个attribute使用一种discriminator。

2.3）模型中利用encoder，重建生成语句的unstructure变量，使得模型在生成过程中能够尽可能的区分unstructure变量以及structure变量。

3）模型训练：

3.1）模型先训练不带属性标签c的语料库X，训练过程中c通过先验分布p(c)抽样得到。

3.2）独立训练各判别器，判别器的训练数据来自于两部分，一部分通过真实带标签数据进行训练，其过程为一标准的有监督学习，另外一部分数据是通过generator生成得到的合成数据，这部分数据在处理过程中为了处理噪声数据以及增强模型优化的稳定性，加入了最小正则熵一项。

3.3）训练VAE网络中的decoder（generator）以及encoder。其中encoder通过VAE网络的优化函数进行优化；generator的优化过程需要综合VAE的优化函数，以及重建structure变量的损失函数和重建unstructure变量的损失函数三部分，同时在加和过程中需要对后两项加入平衡参数。

4）实验过程：

4.1) 实验数据：

来自于IMDM文本语料库，句子中单词上限为15个，将罕见词用“<unk>”代替；实验中的情感信息包括正向以及负向两类，实验中的时态信息利用timebank数据集获取单词或短语的时态信息（“past”，“present”, ”future”）。

4.2）参数设置：

generator和encoder均由单层的LSTM RNN网络构成，隐藏层维度为300维，判别器由单层的卷积神经网络构成。

4.3）实验结果：

4.3.1)生成属性的正确率：

利用现有的语义分类器（Harnessing deep neural networks with logic rules，正确率90%）对测试集进行分类，并将分类结果作为真值与语义信息c进行比较。实验的baseline采用的是半监督的VAE模型（s-VAE），结果显示在各规模的数据集上，可控文本生成模型的准确率均高于s-VAE。

4.3.2）分离表示：

首先比较了是否对属性信息进行独立控制（即是否含有encoder重建这一部分），包含有encoder重建时改变语义信息部分能够保证生成语句的语义发生变化，但是其他方面不发生变化（而不含有encoder重建时其他方面也会发生改变）。其次在只改变一个属性信息的实验中，模型能够更好的控制生成语句的语义信息。最后是只改变unstructure变量z的情况下，模型能够生成不同的内容但是保持语义以及时态的一致性。

\---------------------   
作者：refaver   
来源：CSDN   
原文：https://blog.csdn.net/refaver/article/details/77886931   
版权声明：本文为博主原创文章，转载请附上博文链接！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190425204958605.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2019042520503071.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20190425205043483.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20190425205134203.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20190425205154872.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20190425205224446.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20190425205240638.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20190425205255270.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20190425205314428.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng==,size_16,color_FFFFFF,t_70
[20190425205327478.png]: https://img-blog.csdnimg.cn/20190425205327478.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20190425205352395.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 10]: /images/20220216/bfba2cc1bf4a4d63a31155c3a0389be9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20190425211254762.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20190425211646369.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng==,size_16,color_FFFFFF,t_70
[20190425212208668.png]: https://img-blog.csdnimg.cn/20190425212208668.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70 13]: /images/20220216/db7e7a946d354c768761238879b05866.png