text-cnn裁判文书分类

矫情吗；* 2022-12-02 04:22 165阅读 0赞

### text-cnn裁判文书分类 ###

*  一、数据集
 *  二、训练过程
 *  三、成果

# 一、数据集 #

使用爬虫获取的26万份裁判文书，可以在链接:  
链接: [全国范围内爬取的26万份裁判文书][26].提取码：t2nh  
训练模型源自链接: [Text Classification with CNN and RNN][].

# 二、训练过程 #

一共训练5轮  
数据格式为目录：标签名，文本为内容  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center 1]  
写入方法

def wenshu_cut():
    	with open(r"J:\PyCharm项目\github项目\文本分类\罪名分类\罪名分类.json", "r")as f:
        	train_text = {}
        	global one
        	text = f.read()
        	#text = json.dumps(text)
        	text = json.loads(text)
        	#print(list(text.keys()))
        	path = os.path.dirname(__file__) + "\\test"
    
    
        	for key in text.keys():
            	values = text[key]
            	if values != []:
                	#print(values)
                	print(key)
                	index = 0
                	"""标签目录，内容文件"""
                	file_path = path + "\\" + key
                	if not os.path.exists(file_path):
                    	os.makedirs(path + "\\" + key)
                		"""写类别标签"""
               		with open(path+"key.txt","a")as f:
                    	f.write(key+"\n")
                	for value in tqdm(values):
                    	try:
                        	one = r(value).strip().replace("\n","")
                        	#print(one)
                        	# print(r"F:\360下载\裁判文书网下载内容\test"+"\\"+i.replace("doc","docx"))
                    	except:
                        	pass
                    	with open(file_path + "\\%d.txt"%index, "a+", encoding="utf-8")as f:
                        	f.write(one)

之后运行cnews\_group.py即可  
![在这里插入图片描述][20200829215851320.png_pic_center]

cnn模型中修改类别数、标签类别  
![在这里插入图片描述][20200829220006974.png_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center 2]

训练过程如下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center 3]

# 三、成果 #

对predict.py进行的修改，使得可以输出预测概率

y_pred_cls = self.session.run(tf.nn.softmax(self.model.logits),feed_dict=feed_dict)
        max_predict = []
        for index ,item in enumerate(y_pred_cls[0]):
            #print(index)
    
            #print("{},{:.5%}".format(self.categories[index],item))
            max_predict.append({item:self.categories[index]})
        #return self.categories[y_pred_cls[0]]
        max_key = max([key for value in max_predict for key in value.keys()])#无法直接由值找键
        #print(max_key)
        for value in max_predict:
            for key in value.keys():
                if key == max_key:
                    print("最佳预测类别为：{}，最佳预测率为{:.5%}".format(value[max_key],max_key))

结果为：  
![在这里插入图片描述][20200829220524136.png_pic_center]  
但是在某些罪名的预测上并不太好，原因在于这些罪名下面的裁判文书缺乏，无法形成有效区分。之后进行了一次6分类即选取了罪名文本数量均在6500份以上的进行了6分类文本分类。效果较好

[26]: https://pan.baidu.com/s/1MpBKQeF_nz0E1a_YcTv1vg
[Text Classification with CNN and RNN]: https://github.com/gaussic/text-classification-cnn-rnn
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/e2056be38bb54e5b81ec058e9eb85c93.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/b461697a01af4c9b9eb1c377dcf2bfc9.png
[20200829215851320.png_pic_center]: /images/20221123/f17cf849cd7a42c2ac5de6f9accedf88.png
[20200829220006974.png_pic_center]: /images/20221123/37ebf66c9c834f67a78f4b81ba948e39.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/283da890d6c44314b6117f5da9e57560.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/cd94150959a149c4ab609d8cdd4af383.png
[20200829220524136.png_pic_center]: /images/20221123/d7bcc579ebbc4996a4919b1d67ef8b5e.png