NLP-数据集：文本复述（text paraphrase）、语义相似度、语义匹配

￡神魔★判官ぃ 2023-10-14 09:46 12阅读 0赞

文本复述最早给出的定义是：概念上的近似等价，由于等价的概念较为模糊没有一个确切、统一的标准。刘挺等人\[[4][]\]于2006年给出了文本复述的形式化定义：假设两个短语或简单句A和B，若满足以下条件：（1）A，B为同一种语言，且字面上不完全相同；（2）A，B分别是结构上稳定的短语或简单句；（3）A，B所表达的含义相同。则称A和B互为复述。

复述资源是指在模型进行复述生成时为其提供的训练语料、规则词典等原始资源，复述资源获取通过现有的书籍资料等，从中查找出语义相同的语句，构建出复述语料的过程，目前已有部分学者针对复述资源获取做了很多工作，下面列举常见的集中复述资源获取的方式。基于词典的方式通过利用类义词典，可以将每个词语的同义或近义词视作复述词、复述短语提取出来\[[5][]\]，而现有的人工构造的词典资源非常罕见；基于多版本平行资源的方式是通过同一外文著作的不同翻译版本，利用文本对齐来找到复述语句，但是对齐方法复杂而且复述语料资源不高\[[3][]\]；基于枢轴（pivot）的方式利用外语翻译资源来间接获取复述资源，对语句进行多样性的翻译，但是不改变语义的基本意思，将外文翻译可以视作一个枢轴，嫁接在这对短语之间，使它们成为互为复述的关系\[[6][]\]，但是该方式比较依赖于翻译资源的质量；基于分布假设(distributional hypothesis)的方式是通过阈值来查找上下文语句来检索复述语句，但是该方式的空间资源开销巨大\[[3][]\]。

当前高质量的复述资源主要以英文和日语为主，中文的语句特性比日语和英语更为复杂和多变，从而导致汉语复述研究较少\[[7][]\]。然而在高质量复述平行语料较为稀缺的情况下，复述资源的领域和规模又限制了复述资源的获取，通过人工来构造高质量的中文复述资源成本过高，导致中文文本复述相较于其他语言的文本复述发展滞后。

*  哈工大 LCQMC 数据集
 *  AFQMC 蚂蚁金融语义相似度数据集
 *  OPPO 小布对话文本语义匹配数据集
 *  谷歌 PAWS-X 数据集
 *  北大中文文本复述数据集 PKU-Paraphrase-Bank
 *  Chinese-STS-B 数据集
 *  Chinese-MNLI 自然语言推理数据集
 *  Chinese-SNLI 自然语言推理数据集
 *  OCNLI 中文原版自然语言推理数据集
 *  CINLID 中文成语语义推理数据集

--------------------

[Chinese Novel Short Sentence Sequence Text Paraphrase Dataset][]

[中文自然语言推理与语义相似度数据集汇总][Link 1]

[文本匹配（语义相似度）综述\_夕小瑶的博客-CSDN博客][-CSDN]

[4]: http://www.csdata.org/p/722/2/#referencebib4
[5]: http://www.csdata.org/p/722/2/#referencebib5
[3]: http://www.csdata.org/p/722/2/#referencebib3
[6]: http://www.csdata.org/p/722/2/#referencebib6
[7]: http://www.csdata.org/p/722/2/#referencebib7
[Chinese Novel Short Sentence Sequence Text Paraphrase Dataset]: https://www.scidb.cn/en/detail?dataSetId=e00cf1ed892047649a192e79f627266a
[Link 1]: http://www.360doc.com/content/22/0105/00/7673502_1011881798.shtml
[-CSDN]: https://blog.csdn.net/xixiaoyaoww/article/details/105460175