Python怎么对比多个模型在相同数据上的表现_交叉验证并使用箱线图分析

珍惜时间，勤奋学习！今天给大家带来《Python怎么对比多个模型在相同数据上的表现_交叉验证并使用箱线图分析》，正文内容主要涉及到等等，如果你正在学习文章，或者是对文章有疑问，欢迎大家关注我！后面我会持续更新相关内容的，希望都能帮到正在学习的大家！

不能只看平均CV分数，因其掩盖各折波动；箱线图可揭示中位数偏态、IQR稳定性及离群折；需用StratifiedKFold与cross_val_score获取每折原始分，再用matplotlib.boxplot绘图并处理nan。

为什么不能只看平均 CV 分数

平均准确率或 AUC 掩盖了模型在各折上的波动。比如一个模型平均 AUC 是 0.85，但五折分数分别是 [0.92, 0.88, 0.86, 0.71, 0.88] —— 第四折掉到 0.71，说明它对某类数据分割极度敏感。这种不稳定性在生产环境中可能直接导致线上服务抖动。

箱线图能立刻暴露三点：
① 中位数是否接近均值（偏态？）
② 箱体高度（IQR）是否小（稳定性？）
③ 是否存在离群折（fliers）

用 cross_val_score 提取每折原始分数

别用 cross_val_score(..., return_train_score=False) 默认只返回测试分，但必须拿到**每折的原始分数列表**才能画箱线图。关键点：

• cv=StratifiedKFold(n_splits=5, shuffle=True, random_state=42) 比纯 KFold 更可靠，尤其对类别不平衡数据
• 传入 scoring='roc_auc_ovr'（多类）或 'roc_auc'（二类），避免默认用 'accuracy' 丢失概率信息
• 必须设 return_train_score=False（省内存），我们只关心验证表现

示例：获取 LogisticRegression 和 RandomForest 的五折 AUC 列表

from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import make_classification

X, y = make_classification(n_samples=1000, n_features=20, n_classes=3, n_informative=10, random_state=42)
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)

lr_scores = cross_val_score(LogisticRegression(), X, y, cv=cv, scoring='roc_auc_ovr')
rf_scores = cross_val_score(RandomForestClassifier(), X, y, cv=cv, scoring='roc_auc_ovr')

用 matplotlib.boxplot 画多模型对比图

pandas 的 boxplot() 对多模型支持弱，推荐直接用 matplotlib.pyplot.boxplot 控制粒度。常见踩坑：

• 传入数据必须是 list of arrays，比如 [lr_scores, rf_scores]，不能是 DataFrame 列
• 别漏设 labels=['Logistic', 'RandomForest']，否则 x 轴无文字
• 加 patch_artist=True 才能填色；用 boxprops={'facecolor': 'lightblue'} 单独控制每个箱体颜色
• 如果某模型某折报错（如 ValueError: Only one class present in y_true），对应位置会是 nan，需提前用 np.nan_to_num(scores, nan=0.0) 处理，否则绘图失败

最小可用绘图代码：

import matplotlib.pyplot as plt
import numpy as np

scores_list = [np.nan_to_num(lr_scores, nan=0.0), np.nan_to_num(rf_scores, nan=0.0)]
plt.boxplot(scores_list, labels=['Logistic', 'RF'], patch_artist=True,
            boxprops={'facecolor':'lightgray'}, medianprops={'color':'red'})
plt.ylabel('AUC (OvR)')
plt.title('Model Stability Comparison (5-fold CV)')
plt.grid(True, alpha=0.3)
plt.show()

分模型看每折细节：用 cross_val_predict + classification_report

箱线图告诉你“有没有问题”，但不告诉你“哪一折、哪一类出问题”。这时候需要逐折分析：

• 用 cross_val_predict 配合 cv=StratifiedKFold 得到每个样本的预测标签（注意：不是概率）
• 再用 classification_report(y_true, y_pred, output_dict=True) 提取 per-class f1-score 字典
• 重点检查：某模型在某个类上的 f1-score 在所有折中标准差 > 0.15，大概率存在数据分布泄漏或特征失效

真正容易被忽略的是：交叉验证的随机种子不仅影响数据划分，还影响某些模型（如 RandomForestClassifier）内部树的构建顺序。所以做模型对比时，random_state 必须统一固定在 StratifiedKFold 和模型实例上，否则比较失去意义。

终于介绍完啦！小伙伴们，这篇关于《Python怎么对比多个模型在相同数据上的表现_交叉验证并使用箱线图分析》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布文章相关知识，快来关注吧！