NLP数据集：GLUE【CoLA（单句子分类）、SST-2（情感二分类）、MRPC、STS-B、QQP、MNLI、QNLI、RTE、WNLI】【知名模型都会在此基准上进行测试】

我就是我 2023-09-30 09:56 2阅读 0赞

GLUE的论文为：GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding

GLUE的官网为：gluebenchmark.com/

本文的目的在于针对GLUE的九个任务分别做一个相对详细的说明，给出一些样例，有一个相对整体确切的感受，同时提供一个可以方便下载GLUE数据集的链接，供读者使用。

![在这里插入图片描述][9ae82fab88144411a0e7a24f76c2384c.png_pic_center]

## 一、任务介绍 ##

GLUE共有九个任务，分别是CoLA、SST-2、MRPC、STS-B、QQP、MNLI、QNLI、RTE、WNLI。如下图图2所示，可以分为三类，分别是单句任务，相似性和释义任务，

GLUE九大任务的描述和统计。所有任务都是单句或者句子对分类，除了STS-B是一个回归任务。MNLI有3个类别，所有其他分类任务都是2个类别。测试集中加粗的表示测试集中标签从未在公共论坛等场所展示过  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16]

### 1、CoLA ###

CoLA(The Corpus of Linguistic Acceptability，语言可接受性语料库)，单句子分类任务，语料来自语言理论的书籍和期刊，每个句子被标注为是否合乎语法的单词序列。本任务是一个二分类任务，标签共两个，分别是0和1，其中0表示不合乎语法，1表示合乎语法。

样本个数：训练集8, 551个，开发集1, 043个，测试集1, 063个。

任务：可接受程度，合乎语法与不合乎语法二分类。

评价准则：Matthews correlation coefficient。

标签为1（合乎语法）的样例：

*  She is proud.
 *  she is the mother.
 *  John thinks Mary left.
 *  Yes, she did.
 *  Will John not go to school?
 *  Mary noticed John’s excessive appreciation of himself.

标签为0（不合语法）的样例：

*  Mary sent.
 *  Yes, she used.
 *  Mary wonders for Bill to come.
 *  They are intense of Bill.
 *  Mary thinks whether Bill will come.
 *  Mary noticed John’s excessive appreciation of herself.

注意到，这里面的句子看起来不是很长，有些错误是性别不符，有些是缺词、少词，有些是加s不加s的情况，各种语法错误。但我也注意到，有一些看起来错误并没有那么严重，甚至在某些情况还是可以说的通的。

### 2、SST-2 ###

SST-2(The Stanford Sentiment Treebank，斯坦福情感树库)，单句子分类任务，包含电影评论中的句子和它们情感的人类注释。这项任务是给定句子的情感，类别分为两类正面情感（positive，样本标签对应为1）和负面情感（negative，样本标签对应为0），并且只用句子级别的标签。也就是，本任务也是一个二分类任务，针对句子级别，分为正面和负面情感。

样本个数：训练集67, 350个，开发集873个，测试集1, 821个。

任务：情感分类，正面情感和负面情感二分类。

评价准则：accuracy。

标签为1（正面情感，positive）的样例：

*  two central performances
 *  against shimmering cinematography that lends the setting the ethereal beauty of an asian landscape painting
 *  the situation in a well-balanced fashion
 *  a better movie
 *  at achieving the modest , crowd-pleasing goals it sets for itself
 *  a patient viewer

标签为0（负面情感，negative）的样例：

*  a transparently hypocritical work that feels as though it 's trying to set the women 's liberation movement back 20 years
 *  so pat it makes your teeth hurt
 *  blood work is laughable in the solemnity with which it tries to pump life into overworked elements from eastwood 's dirty harry period .
 *  faced with the possibility that her life is meaningless , vapid and devoid of substance , in a movie that is definitely meaningless , vapid and devoid of substance
 *  monotone
 *  this new jangle of noise , mayhem and stupidity must be a serious contender for the title .

注意到，由于句子来源于电影评论，又有它们情感的人类注释，不同于CoLA的整体偏短，有些句子很长，有些句子很短，长短并不整齐划一。

--------------------

参考资料：  
[GLUE基准数据集介绍及下载][GLUE]  
[https://gluebenchmark.com/tasks][https_gluebenchmark.com_tasks]

[9ae82fab88144411a0e7a24f76c2384c.png_pic_center]: https://img-blog.csdnimg.cn/9ae82fab88144411a0e7a24f76c2384c.png#pic_center
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/1a22180928fe4e8cb620449b343615f0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16
[GLUE]: https://zhuanlan.zhihu.com/p/135283598
[https_gluebenchmark.com_tasks]: https://gluebenchmark.com/tasks