在data.table中有条件替换数据值的最快方法（速度比较）

为什么第二种方法会因增加data.table大小而变慢：

library(data.table)
DF = data.table(x=rep(c("a","b","c"),each=40000000), y=sample(c(1,3,6),40000000,T), v=1:9)

1:

DF1=DF2=DF

system.time(DF[y==6,"y"]<-10)
user  system elapsed 
2.793   0.699   3.497 

2:

system.time(DF1$y[DF1$y==6]<-10)
user  system elapsed 
6.525   1.555   8.107 

3:

system.time(DF2[y==6, y := 10]) # slowest!
user  system elapsed 
7.925   0.626   8.569 

>sessionInfo()
R version 3.2.1 (2015-06-18)
Platform: x86_64-pc-linux-gnu (64-bit)
Running under: Ubuntu 14.04.3 LTS

有没有更快的方法来做到这一点？

在你的最后一个案例中，这是由于自动索引特色于data.table，自 v1.9.4+ 起。阅读更多内容以获取完整图片:-)。

当你这样做时DT[col == .] or DT[col %in% .]，正在自动生成索引你的第一次跑步。索引只是order您指定的列的。索引的计算非常快（使用计数排序/真基数排序）。

该表有 1.2 亿行，大约需要：

# clean session
require(data.table)
set.seed(1L)
DF = data.table(x=rep(c("a","b","c"),each=40000000), y=sample(c(1,3,6),40000000,T), v=1:9)

system.time(data.table:::forderv(DF, "y"))
#   3.923   0.736   4.712 

边注： Column y不一定是真的double（订购时间较长）。如果我们将其转换为整数类型：

   DF[, y := as.integer(y)]
   system.time(data.table:::forderv(DF, "y"))
   #    user  system elapsed 
   #   0.569   0.140   0.717 

优点是该列上的任何后续子集使用== or %in%将会非常快（Slides, R script, video马特的演讲）。例如：

# clean session, copy/paste code from above to create DF
system.time(DF[y==6, y := 10])
#    user  system elapsed 
#   4.750   1.121   5.932 

system.time(DF[y==6, y := 10])
#    user  system elapsed 
#   4.002   0.907   4.969 

哦等一下..它并不快。但是..索引..？！？我们每次都会用新值替换同一列。这会导致该列的顺序发生更改（从而删除索引）。让我们子集化y，但修改v:

# clean session
require(data.table)
set.seed(1L)
DF = data.table(x=rep(c("a","b","c"),each=40000000), y=sample(c(1,3,6),40000000,T), v=1:9)

system.time(DF[y==6, v := 10L])
#    user  system elapsed 
#   4.653   1.071   5.765 
system.time(DF[y==6, v := 10L])
#    user  system elapsed 
#   0.685   0.213   0.910 

options(datatable.verbose=TRUE)
system.time(DF[y==6, v := 10L])
# Using existing index 'y'
# Starting bmerge ...done in 0 secs
# Detected that j uses these columns: v 
# Assigning to 40000059 row subset of 120000000 rows
#    user  system elapsed 
#   0.683   0.221   0.914 

您可以看到计算索引（使用二分搜索）的时间为 0 秒。另请检查?set2key().

如果您不打算重复进行子集化，或者像您的情况一样，对同一列进行子集化和修改，那么通过执行以下操作来禁用该功能是有意义的options(datatable.auto.index = FALSE), filed #1264:

# clean session
require(data.table)
options(datatable.auto.index = FALSE) # disable auto indexing
set.seed(1L)
DF = data.table(x=rep(c("a","b","c"),each=40000000), y=sample(c(1,3,6),40000000,T), v=1:9)

system.time(DF[y==6, v := 10L])
#    user  system elapsed 
#   1.067   0.274   1.367 
system.time(DF[y==6, v := 10L])
#    user  system elapsed 
#   1.100   0.314   1.443 

这里差别不大。矢量扫描的时间为system.time(DF$y == 6) = 0.448s.

总而言之，就你的情况而言，矢量扫描更有意义。但总的来说，最好是一次性支付惩罚，并在该列的未来子集上快速获得结果，而不是每次都进行矢量扫描。

自动索引功能相对较新，并且会随着时间的推移而扩展，并且可能会进行优化（也许有些地方我们没有看过）。在回答这个问题时，我意识到我们没有显示计算排序顺序的时间（使用fsort()，我猜在那里花费的时间可能是时间非常接近的原因，提交#1265).

至于你的第二种情况很慢，不太清楚为什么。我怀疑这可能是由于 R 部分的不必要的副本所致。您使用什么版本的 R？为了将来，请始终发布您的sessionInfo() output.