来自插入符号中的训练数据的 ROC 曲线

使用R包插入符号，如何根据train()函数的交叉验证结果生成ROC曲线？

比如说，我执行以下操作：

data(Sonar)
ctrl <- trainControl(method="cv", 
  summaryFunction=twoClassSummary, 
  classProbs=T)
rfFit <- train(Class ~ ., data=Sonar, 
  method="rf", preProc=c("center", "scale"), 
  trControl=ctrl)

训练函数遍历一系列 mtry 参数并计算 ROC AUC。我想查看相关的 ROC 曲线——我该怎么做？

注：如果采样方法为LOOCV，则rfFit将包含一个非空数据帧rfFit$pred插槽，这似乎正是我所需要的。但是，我需要“cv”方法（k 倍验证）而不是 LOO。

另外：不，roc以前版本的插入符中包含的函数不是答案——这是一个低级函数，如果您没有每个交叉验证样本的预测概率，则无法使用它。

只有savePredictions = TRUE参数缺失于ctrl（这也适用于其他重采样方法）：

library(caret)
library(mlbench)
data(Sonar)
ctrl <- trainControl(method="cv", 
                     summaryFunction=twoClassSummary, 
                     classProbs=T,
                     savePredictions = T)
rfFit <- train(Class ~ ., data=Sonar, 
               method="rf", preProc=c("center", "scale"), 
               trControl=ctrl)
library(pROC)
# Select a parameter setting
selectedIndices <- rfFit$pred$mtry == 2
# Plot:
plot.roc(rfFit$pred$obs[selectedIndices],
         rfFit$pred$M[selectedIndices])

也许我错过了一些东西，但一个小问题是train估计的 AUC 值总是与plot.roc and pROC::auc（绝对差 twoClassSummary uses pROC::auc来估计 AUC。Edit:我认为发生这种情况是因为 ROC 来自train是使用单独的 CV 集的 AUC 平均值，这里我们同时计算所有重采样的 AUC，以获得总体 AUC。

Update由于这引起了一些关注，这里有一个使用的解决方案plotROC::geom_roc() for ggplot2:

library(ggplot2)
library(plotROC)
ggplot(rfFit$pred[selectedIndices, ], 
       aes(m = R, d = factor(obs, levels = c("R", "M")))) + 
    geom_roc(hjust = -0.4, vjust = 1.5) + coord_equal()