大数据-算法-针对类别不平衡和代价敏感分类问题的特征选择和分类算法.pdf

对于类别不平衡的loss函数

当训练样本不均匀时，我们可以采用过采样、欠采样、数据增强等手段来避免过拟合。今天遇到一个3d点云数据集合，样本分布极不均匀，正例与负例相差4-5个数量级。数据增强效果就不会太好了，另外过采样也不太合适，因为是空间数据，新增的点有可能会对真实分布产生未知影响。所以采用欠采样来缓解类别不平衡的问题。 下面的代码展示了如何使用WeightedRandomSampler来完成抽样。 numDataPoints = 1000 data_dim = 5 bs = 100 # Create dummy data with class imbalance 9 to 1 data = torch.Float

面部动作单元识别任务是理解人脸表情最重要的环节之一,但因为类别极度不平衡和属于多标签分类等问题,给算法设计带来了不小的困难。针对这些问题设计了一种基于深度学习的面部动作单元识别算法。首先,基于迁移学习理论,以人脸识别任务为目标驱动,使用大规模数据集预训练卷积网络,使模型具有提取人脸抽象特征的能力;其次,设计了一个根据分类置信度来动态加权样本损失大小的目标函数,使得模型更关注于优化少数类样本;最后,结合多标签共现关系拟合和人脸关键点回归两个相关任务,联合训练模型并测试。实验结果表明,该方法在CK+和MMI数据集上能有效提升分类正确率与F1分数。

本资源为KEEL不平衡数据集，数据集的不平衡率从1点几到几百不等，非常适合做不平衡数据分类的研究，数据集为各行各业的真实数据集。

一个关于人体行为识别的PPT，使用公开的数据集，使用不平衡学习的方法与经典的机器学习方法进行比较。