百面机器学习（2）模型评估

客官°小女子只卖身不卖艺 2022-01-13 06:07 344阅读 0赞

**目录**

01 评估指标的局限性

问题一：准确率的局限？

问题二：精确率和召回率的均衡

问题3：平方根误差

02 ROC曲线

问题1：什么是ROC曲线

问题二：如何绘制ROC曲线？

问题三：如何计算AUC？

问题四：ROC曲线比PR曲线，有什么特点？

03 余弦距离的应用

04 A/B测试的陷阱

问题一：进行A/B测试的原因？

问题二：如何进行A/B测试？目前所有用户模型是B。针对美国用户改成模型B，进行AB测试，怎么划分？

05 模型评估的方法

问题一：模型评估过程中，有哪些主要的验证方法，优缺点？

问题二：自助法采样过程中，对n个样本进行n次抽样，当n趋于无穷大时，有多少未被选择过？

06 超参数调优

07 过拟合和欠拟合

问题一：过拟合和欠拟合具体现象？

问题二：降低过拟合和欠拟合的方法

--------------------

> 没有测量，就没有科学。-----门捷列夫

模型评估分类：离线评估、在线评估

评估指标：分类、排序、回归、序列预测等

## 01 评估指标的局限性 ##

（1）准确率Accuracy

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70][]

### 问题一：准确率的局限？ ###

答：当负样本占比很大时，准确率主要由负样本的准确率来决定了，掩盖了正样本的准确率。

案例：hulu公司要把奢侈品广告投放给奢侈品用户，模型分类准确率超过了95%，但最后发现，大部分广告投给了非奢侈品用户。原因：奢侈品用户只占1%，因此模型整体的准确率高，不代表奢侈品用户的准确率也高。

解决方法一：平均准确率

### 问题二：精确率和召回率的均衡 ###

精确率Precision：正样本的准确率。分类正确的正样本个数   /    分类器判定为正样本的样本个数

召回率recall:                                      分类正确的正样本个数  /     真正的正样本的个数

为提高Precision，则要更有把握，则有可能漏掉正样本，导致recall降低。

PR曲线：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 1][]

其他指标：

f1-score，ROC曲线

![20190617193615761.png][]

### 问题3：平方根误差 ###

案例：Hulu公司预测美剧流量趋势，95%的时间区间内的预测误差都<1%，但是RMSE指标都非常高。

原因：RMSE如果一旦出现偏离程度特别大的离群点，就会造成指标很差的情况。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 2][]

解决方法：  
（1）如果认为离群点是噪声，则预处理去掉

（2）如果不认为离群点是噪声，则优化模型

（3）更换更合适的指标，比如：平均绝对百分比误差

![20190617194100402.png][]

MAPE相当于将每个点的误差进行了归一化，降低离群点对带来的绝对误差的影响。

## 02 ROC曲线 ##

二值分类器评价指标：precision, recall, F1-score, PR曲线，ROC曲线

### 问题1：什么是ROC曲线 ###

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>&nbsp;</td> 
   <td>被预测为正样本</td> 
   <td>被预测为负样本</td> 
  </tr> 
  <tr> 
   <td>正样本</td> 
   <td>TP</td> 
   <td>FN</td> 
  </tr> 
  <tr> 
   <td>负样本</td> 
   <td>FP</td> 
   <td>TN</td> 
  </tr> 
 </tbody> 
</table>

真正率：TPR = TP/P

假正率：FPR = FP/N

ROC曲线横坐标为假正率FPR，纵坐标为真正率TPR。

### 问题二：如何绘制ROC曲线？ ###

动态调整阈值，绘制每个阈值时对应的位置

### 问题三：如何计算AUC？ ###

AUC：ROC曲线下面积大小，越大，分类性能越好。

### 问题四：ROC曲线比PR曲线，有什么特点？ ###

答：当正负样本分布发生变化时，ROC曲线形状基本保持不变，但PR曲线会发生很大变化。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 3][]

## 03 余弦距离的应用 ##

特征相似度：余弦相似度，余弦距离，欧式距离等

问题1：一些场景为什么用余弦相似度，而不是欧式距离？（待补充）

## 04 A/B测试的陷阱 ##

### 问题一：进行A/B测试的原因？ ###

答：离线无法完全还原线上的工程环境；

线上看的指标更多：离线一般是看ROC曲线，PR曲线等，而线上会看用户点击率、留存时长、PV访问量等。

### 问题二：如何进行A/B测试？   目前所有用户模型是B。针对美国用户改成模型B，进行AB测试，怎么划分？   ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 4][] ###

## 05 模型评估的方法 ##

### 问题一：模型评估过程中，有哪些主要的验证方法，优缺点？ ###

（1）Holdout检验：随机划分成训练集，验证集

（2）交叉验证

k-fold：分成k个子集，依次遍历k个子集（每次都把当前子集作为验证集，其余作为训练集）。

最终k次评估均值作为最终评估指标。

留一验证：每次留1个样本验证，其余作为测试集。也就是上面k-fold的特殊情况：k=n

（3）自助法

样本规模比较少时采用。

对于n个样本的集合，进行n次有放回，得到大小为n的训练集。

这n次没被抽出过的样本作为验证集。

### 问题二：自助法采样过程中，对n个样本进行n次抽样，当n趋于无穷大时，有多少未被选择过？ ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 5][]

![20190617202311700.png][]

## 06 超参数调优 ##

超参数搜索算法的几个要素：（1）目标函数；（2）搜索范围；（3）算法其他参数：步长等；

超参数调优有哪些方法？  
网格搜索、随机搜索、贝叶斯优化。

## 07 过拟合和欠拟合 ##

### 问题一：过拟合和欠拟合具体现象？ ###

答：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 6][]

欠拟合：训练集、测试集表现都不好

过拟合：训练集表现好，但测试集表现不好

### 问题二：降低过拟合和欠拟合的方法 ###

答：

降低过拟合的方法

（1）数据入手：更多训练数据

（2）降低模型复杂度

（3）正则化：增加约束

（4）集成学习：多个模型集成

降低欠拟合的方法

（1）添加新特征

（2）增加模型复杂度

（3）减少正则化系数

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70]: /images/20220113/0cf8faaa24d440a5b803d4617760dd2b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 1]: /images/20220113/a414b7377ea64885b6f3b65e507d1b2a.png
[20190617193615761.png]: /images/20220113/31fb0e3dfa2d44fda21e599c14b941ac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 2]: /images/20220113/abf7609bc8a2445f946ca2b23dc63ef0.png
[20190617194100402.png]: /images/20220113/b8366453be3d49e187a7d26905432313.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 3]: /images/20220113/c8b01a58233e472e8fc8d735e6f11dc4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 4]: /images/20220113/646269e5df8b4b6db483648deef00fd0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 5]: /images/20220113/829da66ffe0f4674b26906caea60c279.png
[20190617202311700.png]: /images/20220113/cd0f0faa38ae43499a4ee8fb03a2c9cc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70 6]: /images/20220113/d587ea3bf4f542d6b30988a510f6d5f8.png