如果我们在管道中包含转换器，scikit-learn 的“cross_val_score”和“GridsearchCV”的 k 倍交叉验证分数是否有偏差？

数据预处理器（例如 StandardScaler）应用于 fit_transform 训练集，并且仅变换（不拟合）测试集。我希望相同的拟合/转换过程适用于用于调整模型的交叉验证。然而，我发现cross_val_score and GridSearchCV使用预处理器fit_transform整个训练集（而不是fit_transforminner_train集，并变换inner_validation集）。我相信这人为地消除了 inner_validation 集中的方差，这使得 cv 分数（用于通过 GridSearch 选择最佳模型的指标）产生偏差。这是一个问题还是我实际上错过了什么？

为了演示上述问题，我使用 Kaggle 的威斯康星州乳腺癌（诊断）数据集尝试了以下三个简单的测试用例。

1. 我故意将整个 X 拟合并变换为StandardScaler()

X_sc = StandardScaler().fit_transform(X)
lr = LogisticRegression(penalty='l2', random_state=42)
cross_val_score(lr, X_sc, y, cv=5)

2. 我将 SC 和 LR 包含在Pipeline并运行cross_val_score

pipe = Pipeline([
    ('sc', StandardScaler()),
    ('lr', LogisticRegression(penalty='l2', random_state=42))
])
cross_val_score(pipe, X, y, cv=5)

3. 与 2 相同，但具有GridSearchCV

pipe = Pipeline([
    ('sc', StandardScaler()),
    ('lr', LogisticRegression(random_state=42))
])
params = {
    'lr__penalty': ['l2']
}
gs=GridSearchCV(pipe,
param_grid=params, cv=5).fit(X, y)
gs.cv_results_

它们都产生相同的验证分数。 [0.9826087、0.97391304、0.97345133、0.97345133、0.99115044]

No, sklearn不做fit_transform与整个数据集。

为了检查这一点，我将其子类化StandardScaler打印发送给它的数据集的大小。

class StScaler(StandardScaler):
    def fit_transform(self,X,y=None):
        print(len(X))
        return super().fit_transform(X,y)

如果您现在更换StandardScaler在您的代码中，您会看到第一种情况下传递的数据集大小实际上更大。

但为什么准确率保持完全相同呢？我认为这是因为LogisticRegression对特征尺度不是很敏感。如果我们使用对规模非常敏感的分类器，例如KNeighborsClassifier例如，您会发现两种情况之间的准确性开始有所不同。

X,y = load_breast_cancer(return_X_y=True)
X_sc = StScaler().fit_transform(X)
lr = KNeighborsClassifier(n_neighbors=1)
cross_val_score(lr, X_sc,y, cv=5)

输出：

569
[0.94782609 0.96521739 0.97345133 0.92920354 0.9380531 ]

而第2个案例，

pipe = Pipeline([
    ('sc', StScaler()),
    ('lr', KNeighborsClassifier(n_neighbors=1))
])
print(cross_val_score(pipe, X, y, cv=5))

Outputs:

454
454
456
456
456
[0.95652174 0.97391304 0.97345133 0.92920354 0.9380531 ]

准确性方面变化不大，但仍然发生了变化。