【NLP-新闻文本分类】处理新闻文本分类所有开源解决方案汇总

谁践踏了优雅 2022-10-31 01:39 234阅读 0赞

### 目录 ###

*  引言
 *  1 textCNN or Bert
 *   *  1.1 简介
     *  1.2 textcnn
     *  1.3 bert
 *  2 Bert
 *   *  2.1 简介
     *  2.2 文件说明
 *  3 LSTM or CNN or Transformer
 *   *  3.1 简介
     *  3.2 模型得分
 *  4 多模型融合
 *   *  4.1 简介
     *  4.2 模型得分
 *  5 TextRNN

# 引言 #

赛题参考[【NLP-新闻文本分类】1 数据分析和探索][NLP-_1]

# 1 textCNN or Bert #

## 1.1 简介 ##

（1）环境

tensorflow 1.x
    pytorch

（2）作者博客和github  
[天池博客分享][Link 1]  
[Github源码][Github]

## 1.2 textcnn ##

使用 TextCNN 模型的代码。讲解文章：[阿里天池 NLP 入门赛 TextCNN 方案流程讲解][NLP _ TextCNN]

## 1.3 bert ##

使用 Bert 模型的代码。讲解文章分为 3 篇：

*  [阿里天池 NLP 入门赛 Bert 方案 -1 数据预处理][NLP _ Bert _ -1]
 *  [阿里天池 NLP 入门赛 Bert 方案 -2 Bert 源码讲解][NLP _ Bert _ -2 Bert]
 *  [阿里天池 NLP 入门赛 Bert 方案 -3 Bert 预训练与分类][NLP _ Bert _ -3 Bert]

# 2 Bert #

rank1第一名分享

## 2.1 简介 ##

（1）环境

Tensorflow == 1.14.0
    Keras == 2.3.1
    bert4keras == 0.8.4

（2）github  
[github源码][github]

## 2.2 文件说明 ##

*  EDA：用于探索性数据分析。
 *  data\_utils：用于预训练语料的构建。
 *  pretraining：用于Bert的预训练。
 *  train：用于新闻文本分类模型的训练。
 *  pred：用于新闻文本分类模型的预测。

# 3 LSTM or CNN or Transformer #

## 3.1 简介 ##

（1）环境

Keras==2.3.1
    tensorflow==1.15.0

（2）Github  
[Github源码][Github 1]

## 3.2 模型得分 ##

<table> 
 <thead> 
  <tr> 
   <th>模型</th> 
   <th>线下</th> 
   <th>线下</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>LSTM</td> 
   <td>0.9485614776</td> 
   <td>0.9563</td> 
  </tr> 
  <tr> 
   <td>CNN</td> 
   <td>0.9436911692</td> 
   <td>0.9532</td> 
  </tr> 
  <tr> 
   <td>Transformer</td> 
   <td>0.9363675328</td> 
   <td>0.9465</td> 
  </tr> 
 </tbody> 
</table>

# 4 多模型融合 #

Rank4分享

## 4.1 简介 ##

（1）环境

pytorch
    sklearn
    gensim
    Tensorflow2.0+
    xgboost
    lightgbm
    tqdm
    huggingface/transformers

（2）博客和Github  
[知乎-博客][-]  
[github源码][github 1]

## 4.2 模型得分 ##

<table> 
 <thead> 
  <tr> 
   <th>模型</th> 
   <th>得分</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>tfidf_lightgbm_cv</td> 
   <td>0.943~0.945</td> 
  </tr> 
  <tr> 
   <td>textbirgru+pl</td> 
   <td>0.959</td> 
  </tr> 
  <tr> 
   <td>textcnn-FC</td> 
   <td>0.943</td> 
  </tr> 
  <tr> 
   <td>bertbilstmattn</td> 
   <td>0.9597</td> 
  </tr> 
  <tr> 
   <td>bert系列没有特别多的记录</td> 
   <td>0.955+</td> 
  </tr> 
  <tr> 
   <td>bert_mini系列</td> 
   <td>0.951~0.952</td> 
  </tr> 
  <tr> 
   <td>bert_small系列没有特别多的记录</td> 
   <td>0.955+</td> 
  </tr> 
  <tr> 
   <td>fasttext-text retrieval</td> 
   <td>0.93</td> 
  </tr> 
 </tbody> 
</table>

融合测试  
基本上textbigru\_cv+bertbilstmattn (无pl) 此时也有0.969的成绩 加上pl其实就比较接近0.97了 后来我尝试了加上几个bert系列(后悔没有加上pl，否则可能还会提高) 结合tfidf做了一下对应lr, lightgbm, xgboost的stacking-B榜分数达到0.9702 总结: 其实我在线下验证集上达到了0.971, 但是我觉得可能B榜的类别分布与训练集不一样，所以我只有0.9702。

# 5 TextRNN #

（1）github  
[GitHub源码][GitHub]

[NLP-_1]: https://betterbench.blog.csdn.net/article/details/113858039
[Link 1]: https://tianchi.aliyun.com/forum/postDetail?postId=132518
[Github]: https://github.com/Warrenheww/rank6_NLP_newstextclassification?spm=5176.12282029.0.0.23e119a2fcw3vx
[NLP _ TextCNN]: https://zhuanlan.zhihu.com/p/183862056
[NLP _ Bert _ -1]: https://zhuanlan.zhihu.com/p/219698336
[NLP _ Bert _ -2 Bert]: https://zhuanlan.zhihu.com/p/219710200
[NLP _ Bert _ -3 Bert]: https://zhuanlan.zhihu.com/p/219718670
[github]: https://github.com/kangyishuai/NEWS-TEXT-CLASSIFICATION?spm=5176.12282029.0.0.36fa49f5LKRyZl
[Github 1]: https://github.com/LogicJake/tianchi_nlp
[-]: https://zhuanlan.zhihu.com/p/231180925
[github 1]: https://github.com/MM-IR/rank4_NLP_textclassification?spm=5176.12282029.0.0.6f4c3248NQr9vk
[GitHub]: https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12282027.0.0.4123379ck0xtJg&postId=118259