根据列中的共同值将大型数据框拆分为数据框列表

我有一个包含 10 列的数据框，收集“用户”的操作，其中一列包含一个 ID（不是唯一的，标识用户）（第 10 列）。数据帧的长度约为750000行。我正在尝试提取由包含“用户”标识符的列分割的各个数据帧（因此获取数据帧的列表或向量），以隔离单个参与者的操作。

ID | Data1 | Data2 | ... | UserID
1  | aaa   | bbb   | ... | u_001
2  | aab   | bb2   | ... | u_001
3  | aac   | bb3   | ... | u_001
4  | aad   | bb4   | ... | u_002

导致

list(
ID | Data1 | Data2 | ... | UserID
1  | aaa   | bbb   | ... | u_001
2  | aab   | bb2   | ... | u_001
3  | aac   | bb3   | ... | u_001
,
4  | aad   | bb4   | ... | u_002
...)

以下对于我的小样本（1000 行）非常有效：

paths = by(smallsampleMat, smallsampleMat[,"userID"], function(x) x)

然后例如通过 paths[1] 访问我想要的元素。

当应用到原始的大数据框架甚至矩阵表示时，这会阻塞我的机器（4GB RAM，MacOSX 10.6，R 2.15）并且永远无法完成（我知道存在更新的 R 版本，但我相信这不是主要问题）。

看来 split 的性能更高，并且需要很长时间才能完成，但我不知道（较差的 R 知识）如何将结果向量列表拼凑成矩阵向量。

path = split(smallsampleMat, smallsampleMat[,10]) 

我也考虑过使用big.matrix等等，但没有取得太大的成功来加快这一进程。

您可以使用例如轻松访问列表中的每个元素path[[1]]。您无法将一组矩阵放入原子向量中并访问每个元素。矩阵是具有维度属性的原子向量。我会使用返回的列表结构split，这就是它的设计目的。每个列表元素可以保存不同类型和大小的数据，因此它非常通用，您可以使用*apply函数对列表中的每个元素进行进一步操作。下面的例子。

#  For reproducibile data
set.seed(1)

#  Make some data
userid <- rep(1:2,times=4)
data1 <- replicate(8 , paste( sample(letters , 3 ) , collapse = "" ) )
data2 <- sample(10,8)
df <- data.frame( userid , data1 , data2 )

#  Split on userid
out <- split( df , f = df$userid )
#$`1`
#  userid data1 data2
#1      1   gjn     3
#3      1   yqp     1
#5      1   rjs     6
#7      1   jtw     5

#$`2`
#  userid data1 data2
#2      2   xfv     4
#4      2   bfe    10
#6      2   mrx     2
#8      2   fqd     9

使用以下方法访问每个元素[[像这样的运算符：

out[[1]]
#  userid data1 data2
#1      1   gjn     3
#3      1   yqp     1
#5      1   rjs     6
#7      1   jtw     5

或者使用*apply函数对每个列表元素执行进一步的操作。例如，取平均值data2您可以像这样使用 sapply 列：

sapply( out , function(x) mean( x$data2 ) )
#   1    2 
#3.75 6.25