非常大的数据集的余弦相似度

我在计算大量 100 维向量之间的余弦相似度时遇到问题。当我使用from sklearn.metrics.pairwise import cosine_similarity, I get MemoryError在我的 16 GB 机器上。每个数组都非常适合我的记忆，但我得到MemoryError during np.dot()内部通话

这是我的用例以及我目前正在如何解决它。

这是我的 100 维父向量，我需要将其与其他 500,000 个相同维度的不同向量（即 100）进行比较

parent_vector = [1, 2, 3, 4 ..., 100]

这是我的子向量（在这个例子中带有一些虚构的随机数）

child_vector_1 = [2, 3, 4, ....., 101]
child_vector_2 = [3, 4, 5, ....., 102]
child_vector_3 = [4, 5, 6, ....., 103]
.......
.......
child_vector_500000 = [3, 4, 5, ....., 103]

我的最终目标是获得前 N 个子向量（其名称例如child_vector_1及其相应的余弦分数）与父向量具有非常高的余弦相似度。

我目前的方法（我知道效率低且消耗内存）：

Step 1:创建以下形状的超级数据框

parent_vector         1,    2,    3, .....,    100   
child_vector_1        2,    3,    4, .....,    101   
child_vector_2        3,    4,    5, .....,    102   
child_vector_3        4,    5,    6, .....,    103   
......................................   
child_vector_500000   3,    4,    5, .....,    103

Step 2: Use

from sklearn.metrics.pairwise import cosine_similarity
cosine_similarity(df)

获得所有向量之间的成对余弦相似度（如上面的数据帧所示）

Step 3:制作一个元组列表来存储key例如child_vector_1以及所有此类组合的余弦相似度等值。

Step 4:使用以下方法获取前 N 名sort()列表 - 这样我就可以获得子向量名称及其与父向量的余弦相似度得分。

PS：我知道这效率很低，但我想不出更好的方法 更快计算每个子向量之间的余弦相似度的方法 和父向量并获取前 N 个值。

任何帮助将不胜感激。

即使您的 (500000, 100) 数组（父数组及其子数组）适合内存 任何成对的度量都不会。其原因是，顾名思义，成对度量计算任意两个子节点的距离。为了存储这些距离，您需要一个 (500000,500000) 大小的浮点数组，如果我的计算正确，将需要大约 100 GB 的内存。

值得庆幸的是，有一个简单的解决方案可以解决您的问题。如果我理解正确的话，你只想得到孩子和父母之间的距离，这将产生一个长度为 500000 的向量，很容易存储在内存中。

为此，您只需为 cosine_similarity 提供第二个参数，仅包含parent_vector

import pandas as pd
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

df = pd.DataFrame(np.random.rand(500000,100)) 
df['distances'] = cosine_similarity(df, df.iloc[0:1]) # Here I assume that the parent vector is stored as the first row in the dataframe, but you could also store it separately

n = 10 # or however many you want
n_largest = df['distances'].nlargest(n + 1) # this contains the parent itself as the most similar entry, hence n+1 to get n children

希望能解决你的问题。