百面机器学习（1）特征工程

我不是女神ヾ 2022-01-13 05:49 300阅读 0赞

### 0  ###

巧妇难为无米之炊。Garbage In, Garbage Out.

对于机器学习问题，数据和特征往往决定了结果的上限，而模型、算法的选择及优化是在逐步接近这个上限。

特征工程：表示和展现数据的过程。

2种数据类型：

（1）结构化数据：可看成数据库的一张表。一行一个样本信息，包含数值型、类别型。

（2）非结构化数据：文本、图像、视频、音频等无法用简单数据表示、类别定义。

### 01 数值特征：特征归一化 ###

为什么要对数值型特征做归一化？

解答：使不同指标间具有可比性。比如：身高(m)，体重(kg)，不归一化的话，会偏向体重这个更大的特征。

有2种方法：  
（1）线性函数归一化

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70][]

（2）零均值归一化

将数据映射到均值为0，标准差为1的分布上。u和6是原始特征的均值和标准差。

![20190617175407452.png][]

### 02 类别型特征 ###

怎么处理类别型特征？  
（1）序号编码

处理：类别见具有大小关系的特征。比如成绩：高>中>低，则序号编码为：3>2>1

（2）独热编码

处理：不具有大小关系的特征。比如血型（A,B,AB,O），则A（1,0,0,0），A（0,0,1,0），A（0,0,1,0），O（0,0,0,1）

（3）二进制编码

利用二进制对ID进行哈希映射。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 1][]

### 03 高维特征的处理 ###

问：什么是组合特征？如何处理高维组合特征？

答：一阶离散特征组合成高阶组合特征。

### 04 组合特征 ###

问：怎么有效的找到组合特征？

答：梯度提升决策树。

### 05 文本表示模型 ###

问：有哪些文本表示模型？优缺点？  
答：（1）词袋模型和N-gram模型

词袋：每个文章看成一袋词，一般用TF-IDF来计算每个词的权重。其中IDF是用来惩罚通用词汇。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 2][]

N-gram是将n个词组成的词组作为一个单独的特征。

（2）主题模型

从文本库中发现主题，并计算每篇文章的主题分布。

（3）词嵌入与深度学习模型

### 06 word2vec ###

问：word2vec的工作原理？与LDA有什么区别与联系？

答：word2vec有两种结构：CBOW和Skip-gram。

### 07 图像数据不足时的处理方法 ###

问：图像分类任务重，训练数据不足会带来什么问题？如何缓解数据量不足带来的问题？

答：

不足带来的问题：过拟合。

模型提供的信息有2个方面：（1）训练数据中蕴含的信息；（2）模型形成过程中人们提供的先验知识（构造，学习和推理）。

因此，解决方法也是从这两个部分出发：

（1）基于数据的方法：扩充

不同角度：旋转、平移、缩放、裁剪、填充、翻转

添加噪声：高斯噪声，椒盐噪声

颜色变换：在颜色空间上添加增量

图像亮度、清晰度、对比度、锐度等

另外：

生成式对抗模型：合并一些新样本。

迁移学习：或者直接在小数据上，对预训练模型进行finetune。

（2）基于模型的方法：

简化模型：比如将非线性改成线性

添加约束项来缩小假设空间：L1/L2正则化

集成学习

Dropout超参数

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70]: /images/20220113/9413af96dcb943d0a25c88ed5dcd63fd.png
[20190617175407452.png]: /images/20220113/2a20489de6dc463dbd1897258902af46.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 1]: /images/20220113/4a2169849c204307afd78c93133f5c04.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 2]: /images/20220113/5a1a3302e77346ffb7d80fd6b9e4aa9a.png