数据不平衡处理与采样方法对比

在文章实战开发的过程中，我们经常会遇到一些这样那样的问题，然后要卡好半天，等问题解决了才发现原来一些细节知识点还是没有掌握好。今天golang学习网就整理分享《Python处理数据不平衡方法及采样策略对比》，聊聊，希望可以帮助到正在努力赚钱的你。

解决Python数据中的不平衡问题，核心在于调整数据分布或修改模型学习策略，以提升少数类识别能力。1. 数据层面的方法包括过采样（如SMOTE及其变种Borderline-SMOTE、ADASYN）和欠采样（如随机欠采样、Tomek Links、ENN），旨在直接改变训练集的类别比例。2. 算法层面的方法包括类别权重、代价敏感学习和集成方法，通过调整模型的学习过程来应对不平衡问题。3. 实践中常结合数据层与算法层方法，如先用SMOTE进行过采样，再设置class_weight参数训练模型，或使用专门的集成算法如BalancedBaggingClassifier。4. 评估时应避免依赖准确率，转而关注召回率、精确率、F1分数、AUC-ROC和AUC-PR等更具洞察力的指标。

处理Python数据中的不平衡问题，核心在于调整数据集的分布或修改模型的学习策略，以确保少数类别不会被多数类别淹没，从而提高模型对少数类别的识别能力。这通常涉及各种采样技术，如过采样（增加少数类样本）和欠采样（减少多数类样本），以及在算法层面进行调整，比如类别权重、代价敏感学习或专门设计的集成方法。

解决方案

数据不平衡是机器学习领域一个相当普遍且棘手的问题，它会导致模型“偏心”于多数类别，对少数类别的预测能力大打折扣。解决这个问题，我的经验告诉我，没有一劳永逸的银弹，更多的是一个策略组合和反复试验的过程。

我们首先要做的，是明确问题。数据不平衡通常意味着你的模型在训练时，因为看到了太多多数类样本，而少数类样本少得可怜，导致它“学会”了简单地预测多数类，就能达到一个看似不错的整体准确率。但当我们真正关心那些稀有事件（比如欺诈交易、罕见疾病）时，模型的表现可能一塌糊涂。

应对策略大致可以分为两类：

1. 数据层面的方法（采样策略）： 这是最直观的方式，直接调整训练集中各类别的样本数量。

• 过采样 (Oversampling): 增加少数类别的样本数量。
  • 随机过采样 (Random Oversampling): 简单地复制少数类样本。这方法粗暴直接，但容易导致过拟合，因为模型会反复看到完全相同的样本。
  • SMOTE (Synthetic Minority Over-sampling Technique) 及其变种: 这是我个人更倾向的策略。SMOTE通过在少数类样本之间插值来合成新的样本，而不是简单复制。它会找到少数类样本的k个近邻，然后沿着这些样本之间的连线生成新的合成样本。SMOTE的变种如Borderline-SMOTE（只在决策边界附近生成样本）和ADASYN（根据学习难度生成更多样本）则更进一步，试图解决SMOTE可能带来的噪声和类间重叠问题。
• 欠采样 (Undersampling): 减少多数类别的样本数量。
  • 随机欠采样 (Random Undersampling): 随机删除多数类样本。虽然能平衡数据，但缺点是可能会丢失大量有价值的信息，导致模型欠拟合。
  • Tomek Links: 识别并移除那些与少数类样本形成“Tomek Link”的多数类样本。一个Tomek Link指的是两个不同类别的样本，它们互为最近邻。移除多数类样本有助于清晰化决策边界。
  • Edited Nearest Neighbors (ENN): 移除那些其类别与其多数近邻的类别不一致的样本。这有助于去除噪声点和重叠区域。

2. 算法层面的方法： 不改变数据，而是调整模型本身的学习过程。

• 类别权重 (Class Weighting): 在许多机器学习算法（如逻辑回归、支持向量机、决策树、XGBoost、LightGBM等）中，可以为不同的类别设置不同的权重。通常，我们会给少数类别更高的权重，让模型在预测错误时付出更大的代价，从而迫使模型更加关注少数类别。在scikit-learn中，很多分类器都有class_weight='balanced'这个参数，它会根据类别频率自动计算权重。
• 代价敏感学习 (Cost-Sensitive Learning): 这是类别权重的一种更广义的表达，直接在损失函数中引入不同类型的错误（例如，将少数类预测为多数类）的惩罚成本。
• 集成方法 (Ensemble Methods): 有些集成方法天生就对不平衡数据有更好的鲁棒性，或者有专门针对不平衡数据的变种。例如，imbalanced-learn库中的BalancedBaggingClassifier、EasyEnsembleClassifier和BalanceCascadeClassifier等，它们通过在构建集成模型时结合采样策略来处理不平衡。

在实践中，我发现结合使用数据层和算法层的方法往往效果最佳。比如，先用SMOTE或其变种进行过采样，然后在使用class_weight参数训练模型，或者尝试一些专门的集成算法。

为什么数据不平衡是机器学习中的隐形杀手？

在我看来，数据不平衡之所以是“隐形杀手”，因为它往往不会在模型训练初期就暴露无遗。我们常常会看到一个整体准确率（Accuracy）很高，比如95%甚至99%的模型，然后沾沾自喜。但如果仔细一瞧，这个99%的准确率可能只是因为99%的数据都属于多数类别，而模型只是简单地把所有样本都预测成了多数类别。对于那关键的1%少数类别，模型的召回率（Recall）或精确率（Precision）可能低得可怜，甚至为零。

试想一下，在欺诈检测中，如果模型把所有交易都判定为“非欺诈”，它的准确率可能高达99.9%（因为欺诈交易确实非常少），但它实际上没有识别出任何一笔欺诈。这在业务上是灾难性的。在医疗诊断中，如果模型无法识别出罕见的恶性肿瘤，那高准确率也毫无意义，因为我们真正关心的是那些少数的、但影响巨大的正例。

这种“高准确率的假象”就是它最狡猾的地方。它蒙蔽了我们对模型真实性能的判断，让我们误以为模型表现良好，直到在实际部署中才发现它在关键场景下的无力。所以，在处理不平衡数据时，我们必须跳出准确率的桎梏，转而关注召回率、精确率、F1分数、ROC曲线下的面积（AUC-ROC）以及PR曲线下的面积（AUC-PR）等更具洞察力的指标。特别是对于少数类，召回率和精确率的权衡至关重要。

随机过采样和欠采样，真的是万金油吗？

我个人觉得，随机过采样和欠采样，与其说是“万金油”，不如说是“速效救心丸”——能快速缓解症状，但治标不治本，甚至可能带来新的问题。

随机过采样确实简单粗暴，就是把少数类的样本复制几份。它的优点是容易理解和实现，而且不会丢失任何原始信息。但问题在于，它只是简单复制，并没有增加任何新的信息或多样性。这很容易导致模型对少数类别的“过拟合”，也就是说，模型学会了识别这几个重复的样本，而不是少数类别的真正特征模式。想象一下，你只有几张稀有邮票，为了凑齐一整本，你把这几张邮票复印了上百份。虽然数量上去了，但邮票的“多样性”和“信息量”并没有增加，模型学到的也只是这几张邮票的特定细节，而不是所有稀有邮票的普遍规律。这在实际应用中，泛化能力会非常差。

至于随机欠采样，它通过随机删除多数类别的样本来平衡数据。优点是能显著减少训练数据量，从而缩短训练时间，并可能降低过拟合的风险。但它最大的弊端是信息丢失。你随机扔掉了大量多数类别的样本，这些样本中可能包含了对区分少数类和多数类至关重要的信息，或者包含了多数类别内部的重要结构。一旦这些信息被丢弃，模型就可能无法充分学习到多数类别的特征，导致欠拟合，或者在实际应用中对多数类别的识别能力下降。这就像为了平衡班级男女比例，你随机让一半男生退学，虽然比例平衡了，但你可能把班级里最聪明的男生也给“优化”掉了，整体教学质量反而受损。

所以，在我看来，随机采样方法更多是在数据量极大、计算资源有限，或者作为初步尝试时使用。对于需要更高模型性能和鲁棒性的场景，它们通常不是最佳选择。

SMOTE系列算法如何智能地合成新数据？

SMOTE（Synthetic Minority Over-sampling Technique）系列算法，在我看来，才是真正迈向“智能”处理不平衡数据的第一步。它不再是简单地复制现有样本，而是尝试“理解”少数类别的分布，并在此基础上“创造”出新的、但又符合少数类别特征的合成样本。

SMOTE的核心思想是：对于少数类中的每个样本，它会找到其在特征空间中的k个最近邻（通常是欧氏距离）。然后，它会随机选择这些近邻中的一个或几个，沿着原始样本与选定近邻之间的连线，随机生成一个新的合成样本。这个过程有点像“插值”，新样本的特征值介于原始样本和其近邻之间。

它“智能”在哪里？

1. 增加了多样性： 相较于简单复制，SMOTE生成的样本是“新”的，它们在特征空间中占据了原始样本和其近邻之间的空白区域，从而增加了少数类样本的多样性，有助于模型学习到更泛化的特征。
2. 避免过拟合： 由于生成的样本是合成的，而不是简单的重复，这在一定程度上缓解了随机过采样导致的过拟合问题。模型看到的是更多元化的少数类样本，而非仅仅几张“复印件”。

然而，SMOTE也不是没有缺点。它最大的问题在于，它在生成新样本时，并没有考虑多数类样本的分布。这可能导致：

• 噪声生成： 如果少数类样本本身就处于特征空间的边缘或与多数类样本混杂在一起，SMOTE可能会在这些模糊区域生成新的样本，从而增加噪声，甚至加剧类间重叠。
• 类间重叠： 它可能在少数类和多数类的边界区域生成样本，使得两个类别之间的界限变得更加模糊，给分类器带来更大的挑战。

为了解决这些问题，SMOTE的变种应运而生，它们在“智能”的道路上走得更远：

• Borderline-SMOTE: 这种方法更聪明，它只关注那些处于“边界线”上的少数类样本进行合成。所谓“边界线”样本，是指那些其k近邻中既有少数类也有多数类的样本。通过只在这些关键区域生成新样本，它试图更有效地帮助分类器划清界限。
• ADASYN (Adaptive Synthetic Sampling): ADASYN则更注重“学习难度”。它会为那些更难学习的少数类样本（即那些周围多数类样本更多的少数类样本）生成更多的合成样本。这使得模型能更集中地学习那些容易被误分类的少数类样本。
• SMOTE-ENN / SMOTE-Tomek: 这些方法是SMOTE与其他欠采样技术的结合。例如，SMOTE-ENN先用SMOTE生成合成样本，然后使用ENN（Edited Nearest Neighbors）来清理数据集中的噪声和重叠。ENN会移除那些其类别与其多数近邻不一致的样本，这有助于平滑决策边界。SMOTE-Tomek则是在SMOTE后，利用Tomek Links来移除那些形成Tomek Link的多数类样本，进一步清晰化类别边界。

在我看来，SMOTE系列算法是处理不平衡数据时非常值得尝试的工具，尤其是当你的少数类样本数量较少，且需要增加数据多样性时。在实际操作中，我通常会先尝试SMOTE，如果效果不理想，或者发现有噪声问题，就会转向Borderline-SMOTE或ADASYN，并结合后续的清理步骤，比如与ENN或Tomek Links配合使用。

# 简单的SMOTE示例
from collections import Counter
from sklearn.datasets import make_classification
from imblearn.over_sampling import SMOTE

# 生成一个高度不平衡的示例数据集
X, y = make_classification(n_samples=1000, n_features=2, n_informative=2,
                           n_redundant=0, n_repeated=0, n_classes=2,
                           n_clusters_per_class=1, weights=[0.99, 0.01],
                           flip_y=0, random_state=42)

print(f"原始数据集类别分布: {Counter(y)}")

# 使用SMOTE进行过采样
smote = SMOTE(random_state=42)
X_resampled, y_resampled = smote.fit_resample(X, y)

print(f"SMOTE后数据集类别分布: {Counter(y_resampled)}")

除了采样，还有哪些“内功心法”可以应对不平衡？

除了直接操作数据分布的采样方法，机器学习领域还有一些“内功心法”，它们通过调整算法本身的学习机制来应对不平衡问题。在我日常工作中，这些方法往往与采样策略相互补充，共同提升模型性能。

1. 类别权重（Class Weighting）： 这是一种非常实用且效果显著的方法，尤其是在像逻辑回归、支持向量机、决策树、随机森林以及梯度提升模型（如XGBoost、LightGBM）中。它的核心思想是：在模型的损失函数中，给少数类别的错误分类赋予更高的惩罚权重。这样一来，模型在训练时就会更加“小心翼翼”，避免将少数类样本误判为多数类，因为它知道那样会付出更大的代价。

例如，在scikit-learn中，许多分类器都提供了class_weight参数。当你设置为'balanced'时，算法会自动根据每个类别的样本数量来计算权重，少数类别的权重会更高。你也可以手动指定权重，比如给少数类设置10倍的权重，给多数类设置1倍的权重。

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report

# 假设X_resampled, y_resampled是经过SMOTE后的数据
# 也可以直接使用原始不平衡数据，然后设置class_weight
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 不使用class_weight的模型（通常对少数类表现不佳）
model_no_weight = LogisticRegression(random_state=42, solver='liblinear')
model_no_weight.fit(X_train, y_train)
y_pred_no_weight = model_no_weight.predict(X_test)
print("--- 不使用class_weight ---")
print(classification_report(y_test, y_pred_no_weight))

# 使用class_weight='balanced'的模型
model_with_weight = LogisticRegression(random_state=42, solver='liblinear', class_weight='balanced')
model_with_weight.fit(X_train, y_train)
y_pred_with_weight = model_with_weight.predict(X_test)
print("\n--- 使用class_weight='balanced' ---")
print(classification_report(y_test, y_pred_with_weight))

你会发现，即使不进行采样，仅仅通过调整class_weight，模型对少数类别的召回率也会有显著提升，尽管这可能会牺牲一些多数类别的精确率。这是一种权衡，取决于你的业务目标。

2. 集成方法（Ensemble Methods）： 集成学习，特别是那些基于Bagging或Boosting的算法，在处理不平衡数据时也能展现出强大的能力。它们通过结合多个弱学习器的预测来提高整体性能。

• 基于Bagging的集成： 例如，imbalanced-learn库中的BalancedBaggingClassifier。它在每次训练一个基分类器时，都会对训练数据进行采样（通常是欠采样），以确保每个基分类器都在一个相对平衡的数据子集上学习。最后，所有基分类器的预测结果被聚合起来。这种方法通过引入多样性来提高模型的鲁棒性。
• 基于Boosting的集成： 像AdaBoost和Gradient Boosting（包括XGBoost、LightGBM）本身就能对错误分类的样本给予更高的权重。对于不平衡数据，这可能意味着模型会更关注那些难以正确分类的少数类样本。有些库也提供了专门针对不平衡数据的Boosting变种，如SMOTEBoost或ADASYNBoost，它们将SMOTE/ADASYN与Boosting结合起来。

3. 代价敏感学习（Cost-Sensitive Learning）： 这是类别权重的一种更直接、更灵活的扩展。在代价敏感学习中，我们不只是简单地给类别设置权重，而是明确地定义一个“代价矩阵”（Cost Matrix），其中包含了将某个类别误分类为另一个类别的具体成本。例如，将一个欺诈交易误判为非欺诈的成本，可能远远高于将一个非欺诈交易误判为欺诈的成本。模型的目标是最小化总体的误分类成本，而不是仅仅最小化错误数量。

虽然许多标准库没有直接提供代价矩阵的参数，但我们可以通过自定义损失函数或者对算法进行修改来实现。在某些特定领域，如金融风控或医疗诊断，这种方法能更精确地反映业务需求。

在我看来，这些“内功心法”提供了比简单采样更深层次的解决方案。类别权重是我在快速迭代和模型调优时经常使用的手段。而集成方法，尤其是imbalanced-learn提供的那些，则是在追求更高性能时值得投入时间去尝试的利器。它们从算法层面入手，让模型本身就能更好地适应不平衡数据的挑战，而不是仅仅依赖于数据的预处理。

以上就是《数据不平衡处理与采样方法对比》的详细内容，更多关于数据不平衡,类别权重,采样策略,SMOTE,集成方法的资料请关注golang学习网公众号！