特征工程的准备：特征理解

悠悠 2022-12-23 06:17 194阅读 0赞

### 特征理解之前的知识储备（二） ###

*  导读
 *  数据是否具有统一的格式
 *  数值是指代类别还是具体数值
 *  数据的四个等级
 *  总结

# 导读 #

**虽然我们介绍了[数据的无量纲化][Link 1]，但是在实际编码之前我们还是需要多做一些准备工作。**

在20多年的考试生涯中，老师都不断的提醒我们**多读题**。而在机器学习中，多读题也就变成了**多了解数据的特点**。也就是接下来要介绍的几个特点。

# 数据是否具有统一的格式 #

现在数据飞速膨胀，单一的数字已经没办法满足现在的高标准严要求了。所以，这里使用一些高维度的数据进行说明。

还是收集了20万猫娘数据的你，还是分析各种疾病。但是呢，病情记录却不全是报表形式的数据，而是一大堆毫不相关的症状堆叠在一起。这种数据被称为**非结构化数据**，或者是**无组织数据**。就像是：

<table> 
 <thead> 
 <tr> 
 <th>序号</th> 
 <th>账号</th> 
 <th>情况</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>1</td> 
 <td>12301231823</td> 
 <td>眼球血丝较多，眼睛经常痒，咽喉处疼痛，鼻涕多</td> 
 </tr> 
 <tr> 
 <td>2</td> 
 <td>31287936661</td> 
 <td>呼吸不畅，喷嚏非常多，四肢无力</td> 
 </tr> 
 <tr> 
 <td>3</td> 
 <td>54174139414</td> 
 <td>胃胀痛，干呕，恶心</td> 
 </tr> 
 <tr> 
 <td>…</td> 
 <td>…</td> 
 <td>…</td> 
 </tr> 
 </tbody> 
</table>

当我们分析情况的时候，就会人和机器一起一头雾水，不知道从哪开始。

另外，分析疾病并不能一杆子打死，而是各有不同，需要每只猫娘的个人信息。这个时候，由于医院系统的数字化管理，猫娘的信息都是以非常标准的报表形式给出，非常方便。这些数据就是**结构化数据**，或者是**有组织数据**。就像是：

<table> 
 <thead> 
 <tr> 
 <th>编号</th> 
 <th>姓名</th> 
 <th>年龄</th> 
 <th>性别</th> 
 <th>种族</th> 
 <th>持有铃铛</th> 
 <th>铃铛登记时间</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>123831643</td> 
 <td>香子兰</td> 
 <td>14</td> 
 <td>女</td> 
 <td>猫</td> 
 <td>是</td> 
 <td>2018-12-25</td> 
 </tr> 
 <tr> 
 <td>123862173</td> 
 <td>巧克力</td> 
 <td>14</td> 
 <td>女</td> 
 <td>猫</td> 
 <td>是</td> 
 <td>2019/5/30</td> 
 </tr> 
 <tr> 
 <td>412371383</td> 
 <td>铃仙</td> 
 <td>16</td> 
 <td>女</td> 
 <td>兔</td> 
 <td>否</td> 
 <td> × \times ×</td> 
 </tr> 
 <tr> 
 <td>…</td> 
 <td>…</td> 
 <td>…</td> 
 <td>…</td> 
 <td>…</td> 
 <td>…</td> 
 <td></td> 
 </tr> 
 </tbody> 
</table>

收集这些信息的时候，由于非常严格的格式和非常好理解的表格形式，所以读取非常方便。

# 数值是指代类别还是具体数值 #

还是刚刚的个人信息的例子。

香子兰是女猫娘，这就是**指代类别**的数据。而年龄是14，这又是**具体数值**。虽然都是每一位用户的属性，却相当明确地给出了完全不一样的参考。

类别用于给用户分类，比如女性猫娘更适合比较精细的工作，而男性牛头人更适合力量型的工作等等；数值则用于定量表示用户的各种参数信息。比如握力、跳远距离等等。

# 数据的四个等级 #

刚刚我们把数据分为定性和定量两种，接下来我们继续分类：

*  定类等级
 *  定序等级
 *  定距等级
 *  定比等级

刚刚提到的**指代类别**就是**定类等级**数据，这个比较好理解，就不再赘述。

而**定序等级**，则是**在同一种前提下对所有的类别进行排序**所得到的类别集合。打个比方，我们需要在地下城寻找更适合当裁缝的种族，所以收集大量的数据，并按照所有种族的平均表现进行排序。最后我们发现，蚕和毛毛虫这两个种族不相上下，并列第一，其次是蜘蛛，然后是人类。于是，我们就得到了一个有序的集合，这个集合就是含有**定序等级**的数据。虽然说这组数据中包含一些使用数据精确说明的定量数据，但是本身代表的实际上是一个类，哪怕这个数字是一个像 25 % 25\\% 25%之类的确切数值数。

**定距等级**，顾名思义，就是设置参照并使用差值进行绘图。还是[知识储备：数据的无量纲化][Link 1]中跳远数据的例子。比起全部使用 1.537 1.537 1.537上下不等的共20万琐碎数据，还是将 1.537 1.537 1.537作为新的参照重新计算这些数据反而效果会更好。其中，这个由差值组成的新的数据集就是包含**定距等级**的数据集。当然，毕竟是20万条数据，画图将会是密密麻麻的一片，毫无参考价值。所以，这里可以以年龄为 x x x轴，每个年龄段都计算均值，这样就能得出**年龄-跳远距离**曲线。这个年龄又是**定序等级**。就变成了**不同类别下的定量分析**。全都联系起来了，不是么？

**定比等级**同样也是定量的描述，只不过和**定距等级**不一样的是，**定距等级使用的是差值**，而**定比等级使用的是比值**。同样需要参照物，研究的时候也是研究比值而不是源数据。`CPU`、`GPU`等电子产品的性能分析就是最好的例子。往往在新款`CPU`、`GPU`等电子产品推出的时候，都会和一个参照物进行比较。比如，`intel`新款`CPU`会和历代`CPU`产品进行比较，频率提升了多少比率、各种测试环境下的表现提升了多少比率等等；小米会和华为比较，打开应用的速度提升了百分之多少，游戏延迟降低了百分之多少等等。这些都是**定比等级**。

# 总结 #

最后就用《特征工程入门与实践》中的表格作总结吧。

下面这个表格总结了本篇的核心内容，也就是**四大数据特点的比较**。

<table> 
 <thead> 
 <tr> 
 <th>等级</th> 
 <th>属性</th> 
 <th>例子</th> 
 <th>描述性统计</th> 
 <th>图表</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>定类</td> 
 <td>离散、无序</td> 
 <td>颜色、真或假</td> 
 <td>频率/占比、众数</td> 
 <td>条形图、饼状图</td> 
 </tr> 
 <tr> 
 <td>定序</td> 
 <td>有序</td> 
 <td>考试等级、年龄分段</td> 
 <td>频率、众数、中位数、百分数</td> 
 <td>条形图、饼图、茎叶图</td> 
 </tr> 
 <tr> 
 <td>定距</td> 
 <td>数据差有真实意义</td> 
 <td>温度、跳远</td> 
 <td>频率、众数、中位数、均值、标准差</td> 
 <td>条形图、饼图、茎叶图、箱线图、直方图</td> 
 </tr> 
 <tr> 
 <td>定比</td> 
 <td>连续、存在有真实意义的绝对零点，可以做除法</td> 
 <td>性能指标、金钱、重量</td> 
 <td>均值、标准差</td> 
 <td>直方图、箱线图</td> 
 </tr> 
 </tbody> 
</table>

如果你不知道**什么等级应该用什么样的统计量表示**，那就对照下面这张表：

<table> 
 <thead> 
 <tr> 
 <th>统计量</th> 
 <th>定类</th> 
 <th>定序</th> 
 <th>定距</th> 
 <th>定比</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>众数</td> 
 <td> \sqrt{} </td> 
 <td> \sqrt{} </td> 
 <td> \sqrt{} </td> 
 <td>有时可行</td> 
 </tr> 
 <tr> 
 <td>中位数</td> 
 <td> × \times ×</td> 
 <td> \sqrt{} </td> 
 <td> \sqrt{} </td> 
 <td> \sqrt{} </td> 
 </tr> 
 <tr> 
 <td>差值、最小最大值</td> 
 <td> × \times ×</td> 
 <td> \sqrt{} </td> 
 <td> \sqrt{} </td> 
 <td> \sqrt{} </td> 
 </tr> 
 <tr> 
 <td>均值</td> 
 <td> × \times ×</td> 
 <td> × \times ×</td> 
 <td> \sqrt{} </td> 
 <td> \sqrt{} </td> 
 </tr> 
 <tr> 
 <td>标准差</td> 
 <td> × \times ×</td> 
 <td> × \times ×</td> 
 <td> \sqrt{} </td> 
 <td> \sqrt{} </td> 
 </tr> 
 </tbody> 
</table>

现在，相信你对一大堆不知所云甚至毫无关联的数据的时候，不会像以前那么害怕了，不是么？最后还是提醒一下，特征工程的特征理解，最最核心的操作步骤，就是下面这张图所示的：

![特征工程流程][904bb04c5ec92498f3d1bb21ca0b8293.png]

是不是有点能理解了？

[Link 1]: https://blog.csdn.net/ordinary_brony/article/details/109804306
[904bb04c5ec92498f3d1bb21ca0b8293.png]: /images/20221120/bfd2b07c0db04127b59d625599167d43.png