将大型 numpy 数组拆分为训练和测试的内存有效方法

我有一个很大的 numpy 数组，当我运行 scikit learn 的 train_test_split 将数组拆分为训练和测试数据时，我总是遇到内存错误。分割为训练和测试的更内存有效的方法是什么？为什么 train_test_split 会导致这种情况？

以下代码会导致内存错误并导致崩溃

import numpy as np
from sklearn.cross_validation import train_test_split

X = np.random.random((10000,70000))
Y = np.random.random((10000,))
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size = 0.33, random_state=42)

我尝试过的一种有效方法是将 X 存储在 pandas 数据框中并随机播放

X = X.reindex(np.random.permutation(X.index))

因为当我尝试时我遇到了相同的内存错误

np.random.shuffle(X)

然后，我将 pandas 数据帧转换回 numpy 数组，并使用此函数，我可以获得训练测试拆分

#test_proportion of 3 means 1/3 so 33% test and 67% train
def shuffle(matrix, target, test_proportion):
    ratio = int(matrix.shape[0]/test_proportion) #should be int
    X_train = matrix[ratio:,:]
    X_test =  matrix[:ratio,:]
    Y_train = target[ratio:,:]
    Y_test =  target[:ratio,:]
    return X_train, X_test, Y_train, Y_test

X_train, X_test, Y_train, Y_test = shuffle(X, Y, 3)

这暂时有效，当我想做K折的交叉验证时，我可以迭代地循环k times并洗牌。虽然现在已经足够了，但为什么 numpy 和 sci-kit learn 的 shuffle 和 train_test_split 实现会导致大数组出现内存错误？