两个数据库的模糊匹配和精确匹配

我有两个数据库。第一个有大约 70k 行 3 列。第二个有 790k 行 2 列。两个数据库都有一个共同的变量grantee_name。我想基于此将第一个数据库的每一行与第二个数据库的一行或多行相匹配grantee_name。注意merge不会工作，因为grantee_name不完美匹配。有不同的拼写等。所以，我使用fuzzyjoin打包并尝试以下操作：

library("haven"); library("fuzzyjoin"); library("dplyr")
forfuzzy<-read_dta("/path/forfuzzy.dta")
filings <- read_dta ("/path/filings.dta")
> head(forfuzzy)
# A tibble: 6 x 3
  grantee_name                 grantee_city grantee_state
  <chr>                        <chr>        <chr>        
1 (ICS)2 MAINE CHAPTER         CLEARWATER   FL           
2 (SUFFOLK COUNTY) VANDERBILT~ CENTERPORT   NY           
3 1 VOICE TREKKING A FUND OF ~ WESTMINSTER  MD           
4 10 CAN                       NEWBERRY     FL           
5 10 THOUSAND WINDOWS          LIVERMORE    CA           
6 100 BLACK MEN IN CHICAGO INC CHICAGO      IL   
... 7 - 70000 rows to go

> head(filings)
# A tibble: 6 x 2
  grantee_name                       ein 
  <chr>                             <dbl>               
1 ICS-2 MAINE CHAPTER              123456             
2 SUFFOLK COUNTY VANDERBILT        654321            
3 VOICE TREKKING A FUND OF VOICES  789456            
4 10 CAN                           654987               
5 10 THOUSAND MUSKETEERS INC       789123               
6 100 BLACK MEN IN HOUSTON INC     987321      

rows 7-790000 omitted for brevity

上面的例子足够清楚，可以提供一些好的匹配和一些不太好的匹配。请注意，例如，10 THOUSAND WINDOWS将最匹配10 THOUSAND MUSKETEERS INC但这并不意味着这是一个很好的匹配。某个地方会有更好的匹配filings数据（上面未显示）。在现阶段这并不重要。

所以，我尝试了以下方法：

df<-as.data.frame(stringdist_inner_join(forfuzzy, filings, by="grantee_name", method="jw", p=0.1, max_dist=0.1, distance_col="distance"))

这对 R 来说是全新的。这会导致错误：cannot allocate vector of size 375GB（当然还有大数据库）。 100 行的样本来自forfuzzy总是有效。因此，我想到一次迭代 100 行的列表。

我已经尝试过以下方法：

n=100
lst = split(forfuzzy, cumsum((1:nrow(forfuzzy)-1)%%n==0))

df<-as.data.frame(lapply(lst, function(df_)
{
(stringdist_inner_join(df_, filings, by="grantee_name", method="jw", p=0.1, max_dist=0.1, distance_col="distance", nthread = getOption("sd_num_thread")))
}
)%>% bind_rows)

我也尝试过上面的方法mclapply代替lapply。即使我尝试使用高性能集群设置3个CPU，每个CPU有480G内存并使用，也会发生同样的错误mclapply与选项mc.cores=3。也许是一个foreach命令可以提供帮助，但我不知道如何实现它。

我被建议使用purrr and repurrrsive包，所以我尝试以下操作：

purrr::map(lst, ~stringdist_inner_join(., filings, by="grantee_name", method="jw", p=0.1, max_dist=0.1, distance_col="distance", nthread = getOption("sd_num_thread")))

在出现新手错误后，这似乎有效by=grantee_name陈述。然而，这需要很长时间，而且我不确定它是否会起作用。示例列表位于forfuzzy100 行，其中n=10（因此 10 个列表，每个列表 10 行）已经运行了 50 分钟，但仍然没有结果。

如果你分开（与base::split or dplyr::group_split）将您的 uniquegrantees 数据框放入数据框列表中，然后您可以调用purrr::map在名单上。 （map差不多了lapply)

purrr::map(list_of_dfs, ~stringdist_inner_join(., filings, by="grantee_name", method="jw", p=0.1, max_dist=0.1, distance_col="distance"))

您的结果将是一个数据框列表，每个数据框都与文件模糊连接。然后你可以打电话bind_rows（或者你可以做map_dfr）再次获得同一数据框中的所有结果。

See R - 将一个大数据帧拆分为几个较小的数据帧，对每个数据帧执行模糊连接并输出到单个数据帧