样本类别分布不均衡【扩充数据集、对数据集进行重采样、人造数据、改变分类算法、尝试其它评价指标】

左手的ㄟ右手 2023-10-01 21:01 16阅读 0赞

什么是样本类别分布不均衡？

举例说明，在一组样本中不同类别的样本量差异非常大，比如拥有1000条数据样本的数据集中，有一类样本的分类只占有10条，此时属于严重的数据样本分布不均衡。

样本类别分布不均衡导致的危害？

样本类别不均衡将导致样本量少的分类所包含的特征过少，并很难从中提取规律；即使得到分类模型，也容易产生过度依赖与有限的数据样本而导致过拟合问题，当模型应用到新的数据上时，模型的准确性会很差。

解决方法：

1.通过过抽样和欠抽样解决样本不均衡

（1）过抽样（over-sampling）：通过增加分类中少数类样本的数量来实现样本均衡，比较好的方法有SMOTE算法。

SMOTE算法：简单来说smote算法的思想是合成新的少数类样本，合成的策略是对每个少数类样本a，从它的最近邻中随机选一个样本b，然后在a、b之间的连线上随机选一点作为新合成的少数类样本。具体的过程大家可以自行google。

（2）欠抽样（under-sampling）：通过减少分类中多数类样本的数量来实现样本均衡

2.通过正负样本的惩罚权重解决样本不均衡

算法思想：对于分类中不同样本数量的类别分别赋予不同的权重，一般是小样本量类别权重高，大样本量类别权重低。

--------------------

--------------------

--------------------

参考资料：  
[解决样本类别分布不均衡的问题][Link 1]  
[如何解决分类问题中样本不均衡问题][Link 2]  
[解决样本类别分布不均衡的问题 ][Link 3]  
[imbalanced-learn documentation][]  
[样本不均衡及解决办法][Link 4]

[Link 1]: https://blog.csdn.net/weixin_42243942/article/details/80480313
[Link 2]: https://blog.csdn.net/zhongjunlang/article/details/79568601
[Link 3]: https://www.cnblogs.com/bymo/p/9766358.html
[imbalanced-learn documentation]: https://imbalanced-learn.org/stable/
[Link 4]: https://mdnice.com/writing/f5cfcf76038d4a91a902184869660118

发表评论取消回复

表情：

评论列表（有 0 条评论，16人围观）

还没有评论，来说两句吧...

相关阅读

相关垃圾分类数据集（垃圾图片数据集）

数据说明该数据集是图片数据，分为训练集85%（Train）和测试集15%（Test）。其中O代表Organic（有机垃圾），R代表Recycle（可回收）数据...

怼烎@/ 2024年04月17日 20:08/ 0 赞/ 75 阅读

相关图像分类数据集

图像分类数据集是指用于训练和评估图像分类模型的数据集。它通常包含大量的图像和与每个图像对应的标签(类别)。常见的图像分类数据集有CIFAR-10, CIFAR-100, MNI

￡神魔★判官ぃ/ 2023年10月08日 20:04/ 0 赞/ 60 阅读

相关图像检测常用评价指标与数据集

评价指标 1.准确率(Accuracy) 检测时分对的样本数除以所有的样本数。准确率一般被用来评估检测模型的全局准确程度，包含的信息有限，不能完全评价一个模型性能。

一时失言乱红尘/ 2023年10月06日 13:17/ 0 赞/ 61 阅读

相关样本类别分布不均衡【扩充数据集、对数据集进行重采样、人造数据、改变分类算法、尝试其它评价指标】

什么是样本类别分布不均衡？举例说明，在一组样本中不同类别的样本量差异非常大，比如拥有1000条数据样本的数据集中，有一类样本的分类只占有10条，此时属于严重的数据样本分布不

左手的ㄟ右手/ 2023年10月01日 21:01/ 0 赞/ 17 阅读

相关【机器学习】过采样和欠采样问题（二分类数据不均衡）

项目中出现了二分类数据不平衡问题，我过去经常简单的使用过采样的方法，但是存在诸多弊病，研究总结下对于类别不平横问题的处理经验：文章目录一、为什么类别不平衡会影

矫情吗；*/ 2023年09月27日 15:16/ 0 赞/ 128 阅读

相关多分类样本类别分布不均衡-解决方案-损失函数(一)：Focal Loss

Focal Loss for Dense Object Detection ICCV2017 RBG和Kaiming大神的新作。论文目标我们知道object dete

落日映苍穹つ/ 2023年09月25日 21:44/ 0 赞/ 61 阅读

相关利用sklearn对多分类的每个类别进行指标评价

今天晚上，笔者接到客户的一个需要，那就是：对多分类结果的每个类别进行指标评价，也就是需要输出每个类型的精确率（precision），召回率（recall）以及F1值（F1-

缺乏、安全感/ 2023年06月13日 06:29/ 0 赞/ 49 阅读

相关 Python解决数据样本类别分布不均衡问题

所谓不平衡指的是：不同类别的样本数量差异非常大。数据规模上可以分为大数据分布不均衡和小数据分布不均衡。大数据分布不均衡：例如拥有1000万条记录的数据集中，其中占比50万条

╰半橙微兮°/ 2023年06月02日 08:30/ 0 赞/ 23 阅读

相关使用sklearn对多分类的每个类别进行指标评价操作

使用sklearn对多分类的每个类别进行指标评价操作更多python视频教程请到菜鸟教程https://www.piaodoo.com/ 今天晚上，笔者接到客户的一个需要

灰太狼/ 2023年02月19日 06:25/ 0 赞/ 13 阅读

相关使用随机森林对Adult数据集进行分类

文章目录前言决策树决策树的构造过程剪枝过程连续值处理缺失值处理集成学习

痛定思痛。/ 2022年10月14日 00:51/ 0 赞/ 191 阅读