我有一个 20 列的矩阵。最后一列是 0/1 标签。
数据的链接是here https://www.dropbox.com/s/8v4lomociw1xz0d/data_so.csv?dl=0.
我正在尝试使用交叉验证在数据集上运行随机森林。我使用两种方法来做到这一点:
- using
sklearn.cross_validation.cross_val_score
- using
sklearn.cross_validation.train_test_split
当我做我认为几乎完全相同的事情时,我会得到不同的结果。为了举例说明,我使用上面的两种方法运行了两次交叉验证,如下面的代码所示。
import csv
import numpy as np
import pandas as pd
from sklearn import ensemble
from sklearn.metrics import roc_auc_score
from sklearn.cross_validation import train_test_split
from sklearn.cross_validation import cross_val_score
#read in the data
data = pd.read_csv('data_so.csv', header=None)
X = data.iloc[:,0:18]
y = data.iloc[:,19]
depth = 5
maxFeat = 3
result = cross_val_score(ensemble.RandomForestClassifier(n_estimators=1000, max_depth=depth, max_features=maxFeat, oob_score=False), X, y, scoring='roc_auc', cv=2)
result
# result is now something like array([ 0.66773295, 0.58824739])
xtrain, xtest, ytrain, ytest = train_test_split(X, y, test_size=0.50)
RFModel = ensemble.RandomForestClassifier(n_estimators=1000, max_depth=depth, max_features=maxFeat, oob_score=False)
RFModel.fit(xtrain,ytrain)
prediction = RFModel.predict_proba(xtest)
auc = roc_auc_score(ytest, prediction[:,1:2])
print auc #something like 0.83
RFModel.fit(xtest,ytest)
prediction = RFModel.predict_proba(xtrain)
auc = roc_auc_score(ytrain, prediction[:,1:2])
print auc #also something like 0.83
我的问题是:
为什么我得到不同的结果,即为什么我使用时 AUC(我使用的指标)更高train_test_split
?
笔记:
当我使用更多折叠(例如 10 折叠)时,我的结果中似乎存在某种模式,第一次计算总是给出最高的 AUC。
在上例中的双重交叉验证的情况下,第一个 AUC 始终高于第二个;它总是类似于 0.70 和 0.58。
感谢您的帮助!