我正在尝试使用 mongodb 聚合查询来连接($lookup)两个集合,然后对连接数组中的所有唯一值进行不同计数。 *注意:我不一定知道metaDataMap 数组中有哪些字段(键)。我不想计算或包含地图中可能存在或不存在的字段。这就是聚合查询看起来像这样的原因。
所以我的两个收藏看起来像这样:事件-
{
"_id" : "1",
"name" : "event1",
"objectsIds" : [ "1", "2", "3" ],
}
Objects
{
"_id" : "1",
"name" : "object1",
"metaDataMap" : {
"SOURCE" : ["ABC", "DEF"],
"DESTINATION" : ["XYZ", "PDQ"],
"TYPE" : []
}
},
{
"_id" : "2",
"name" : "object2",
"metaDataMap" : {
"SOURCE" : ["RST", "LNE"],
"TYPE" : ["text"]
}
},
{
"_id" : "3",
"name" : "object3",
"metaDataMap" : {
"SOURCE" : ["NOP"],
"DESTINATION" : ["PHI", "NYC"],
"TYPE" : ["video"]
}
}
我的结果是
{
_id:"SOURCE", count:5
_id:"DESTINATION", count: 4
_id:"TYPE", count: 2
}
到目前为止我所拥有的是这样的:
db.events.aggregate([
{$match: {"_id" : id}}
,{$lookup: {"from" : "objects",
"localField" : "objectsIds",
"foreignField" : "_id",
"as" : "objectResults"}}
,{$unwind: "$objectResults"} //Line 1
,{$project: {x: "$objectResults.metaDataMap"}} //Line 2
,{$unwind: "$x"}
,{$project: {"_id":0}}
,{$project: {x: {$objectToArray: "$x"}}}
,{$unwind: "$x"}
,{$group: {_id: "$x.k", tmp: {$push: "$x.v"}}}
,{$addFields: {tmp: {$reduce:{
input: "$tmp",
initialValue:[],
in:{$concatArrays: [ "$$value", "$$this"]}
}}
}}
,{$unwind: "$tmp"}
,{$group: {_id: "$_id", uniqueVals: {$addToSet: "$tmp"}}}
,{$addFields: {count: {"$size":"$uniqueVals"}}}
,{$project: {_id: "$_id", count: "$count"}}
]);
我的问题是我是否标记了第 1 行和第 2 行。上面的方法有效,但对于 metaDataMap 数组字段 (objectsResults.metaDataMap) 中的 25,000 个值大约需要 50 秒。例如,对象 1 metaDataMap SOURCE 数组中有 25,000 个值。这样就可以慢下来了。我的另一种更快的方法是将第 1 行和第 2 行替换为:
,{$project: {x: "$objectResults.metaDataMap"}} //Line 1
,{$unwind: "$x"} //Line 2
这速度更快(不到 3 秒),但只能在包含约 10,000 个项目或更少的数据集上运行。任何更高的值都会出现错误,提示“超出最大文档大小”。
请帮忙!