【技术探讨】文本内容分类实现方式

谁借莪１个温暖的怀抱￠ 2022-01-23 15:19 204阅读 0赞

# 需求 #

客户有销售类项目的审核流程，希望能够统计出审核不同过类型的项目信息中，常见的原因。由于前期系统设计过程中，并未对原因进行格式化，团队分析后大概有三种思路。

## 增加格式化数据 ##

增加格式化数据，是最常见的做法。在审批拒绝时，让操作人员选择一个拒绝的类型，比如地址填错，联系人电话打不通，重复项目等等，这样，即可根据拒绝类型进行数据统计

据此，很容易的得出原因的饼图分析  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1ZXhpaXBob25l_size_16_color_FFFFFF_t_70]

### 优点： ###

1.  符合项目实际，且无需要学习研究的领域
2.  可以动态的增加拒绝类型，从而自动增加分析结果输出内容（通过字典方式实现）

### 缺点： ###

1.  历史数据无法统计

## 高频词汇分析 ##

调研后分析，目前市面上有可用的中文词汇词频分析，通过训练的方式可以得出指定词汇的出现频次，并且可以对分词结果进行多次修正（具体内容可参考[jieba-pypi][]）

经过训练，拟定的输出结果可以是（举例说明，实际并没有采用这种做法。只是进行了可行性调研）

可见，输出结果里面包含了很多无用的词频统计，这些无用的词频统计，可以通过jieba提供的API进行词汇删除，或者词汇重组，但是随着数据不断增多，可能需要一直对词汇字典进行维护。

并不是说高频词汇的分析功能有问题，而是我们的应用场景并不能很好的切合这个功能。因此调研后放弃。（不过下载python之后，打算研究一下，用python做一些小工具，尝试一下效果，算是意外惊喜）

## 文本分类 ##

百度AI提供了一个叫做[easyDL][]的机器学习框架。这个框架下，可以通过提供训练文本的方式，实现文本分类。调研后基本满足需求。  
实现的步骤大致如下所述：

**1. 创建模型**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1ZXhpaXBob25l_size_16_color_FFFFFF_t_70 1]  
**2. 上传数据集**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1ZXhpaXBob25l_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1ZXhpaXBob25l_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][20190604112329221.png]  
**3. 用数据集训练模型**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1ZXhpaXBob25l_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1ZXhpaXBob25l_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][20190604112355314.png]  
**4. 发布模型**  
由于模型训练需要时长，所以我并未等到训练结束。  
但是根据字面意义理解，训练成功后，应该是可以通过上传文本信息来对文本进行分类的。比如说，我们提供地址错误分类下包括的数据集（1. 地址错误 2. 项目地址描述有问题 3. 位置信息错误），那么只要符合这三种的文本信息，都会被归类到地址错误下面。

并且，因为是机器学习平台，我们可以不断修正机器学习的结果，通过训练的方式逐步让分类更精准。

**5. 文本分类应用**  
后续进展，仍在实验中……

### 优点 ###

智能化程度高，而且基本上不需要写太多的算法代码，只需要理解并掌握API的调用

### 缺点 ###

需要提供训练数据集，数据集提供的越完善，结果越准确。由于此需求并不是一个通用的需求，所以花在整理训练集上的时间可能会超过成本预期。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1ZXhpaXBob25l_size_16_color_FFFFFF_t_70]: /images/20220123/1f2809787814454f9c76ddd0575e9e10.png
[jieba-pypi]: https://pypi.org/project/jieba/
[easyDL]: https://ai.baidu.com/easydl/image
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1ZXhpaXBob25l_size_16_color_FFFFFF_t_70 1]: /images/20220123/1d5c62bd7eb042cb95d0e11795cce686.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1ZXhpaXBob25l_size_16_color_FFFFFF_t_70 2]: /images/20220123/5999093ca274454cb1d550bb439e0b07.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1ZXhpaXBob25l_size_16_color_FFFFFF_t_70 3]: /images/20220123/e17a20423fbb445ab61b609105c23c3f.png
[20190604112329221.png]: /images/20220123/f9d823ed7def4507b9faa60b5cdb97cc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1ZXhpaXBob25l_size_16_color_FFFFFF_t_70 4]: /images/20220123/2ff623151e5e4a94b9db632578c0a6dd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1ZXhpaXBob25l_size_16_color_FFFFFF_t_70 5]: /images/20220123/3d3b316d6c724f8f9d85fa377104a36f.png
[20190604112355314.png]: /images/20220123/6cb2e437ba0b456996bc0298aaa2a18c.png