word2vec gensim 多种语言

这个问题完全超出了我的想象。我正在使用 gensim 训练 Word2Vec 模型。我提供了多种语言的数据，即英语和印地语。当我试图找到最接近“人”的词时，我得到的是：

model.wv.most_similar(positive = ['man'])
Out[14]: 
[('woman', 0.7380284070968628),
 ('lady', 0.6933152675628662),
 ('monk', 0.6662989258766174),
 ('guy', 0.6513140201568604),
 ('soldier', 0.6491742134094238),
 ('priest', 0.6440571546554565),
 ('farmer', 0.6366012692451477),
 ('sailor', 0.6297377943992615),
 ('knight', 0.6290514469146729),
 ('person', 0.6288090944290161)]
--------------------------------------------

问题是，这些都是英文单词。然后我试图找到相同含义的印地语和英语单词之间的相似性，

model.similarity('man', 'आदमी')
__main__:1: DeprecationWarning: Call to deprecated `similarity` (Method will 
be removed in 4.0.0, use self.wv.similarity() instead).
Out[13]: 0.078265618974427215

这个准确度应该比所有其他准确度都要好。我的印地语语料库是通过翻译英语语料库制作的。因此，这些词出现在类似的上下文中。因此他们应该很接近。

这就是我在这里所做的：

#Combining all the words together.
all_reviews=HindiWordsList + EnglishWordsList

#Training FastText model
cpu_count=multiprocessing.cpu_count()
model=Word2Vec(size=300,window=5,min_count=1,alpha=0.025,workers=cpu_count,max_vocab_size=None,negative=10)
model.build_vocab(all_reviews)
model.train(all_reviews,total_examples=model.corpus_count,epochs=model.iter)
model.save("word2vec_combined_50.bin")

我一直在处理一个非常相似的问题，并找到了一个相当强大的解决方案。这张纸 https://arxiv.org/pdf/1309.4168.pdf表明可以在使用不同语言训练的两个 Word2Vec 模型之间定义线性关系。这意味着您可以导出翻译矩阵，将词嵌入从一种语言模型转换为另一种语言模型的向量空间。这一切意味着什么？这意味着我可以从一种语言中取出一个单词，并在另一种语言中找到具有相似含义的单词。

我编写了一个小型 Python 包来为您实现此功能：transvec https://pypi.org/project/transvec/。下面是我使用预训练模型来搜索俄语单词并查找具有相似含义的英语单词的示例：

import gensim.downloader
from transvec.transformers import TranslationWordVectorizer

# Pretrained models in two different languages.
ru_model = gensim.downloader.load("word2vec-ruscorpora-300")
en_model = gensim.downloader.load("glove-wiki-gigaword-300")

# Training data: pairs of English words with their Russian translations.
# The more you can provide, the better.
train = [
    ("king", "царь_NOUN"), ("tsar", "царь_NOUN"),
    ("man", "мужчина_NOUN"), ("woman", "женщина_NOUN")
]

bilingual_model = TranslationWordVectorizer(en_model, ru_model).fit(train)

# Find words with similar meanings across both languages.
bilingual_model.similar_by_word("царица_NOUN", 1) # "queen"
# [('king', 0.7763221263885498)]

不用担心俄语单词上奇怪的 POS 标签 - 这只是我使用的特定预训练模型的一个怪癖。

所以基本上，如果你可以提供一个单词列表及其翻译，那么你就可以训练一个TranslationWordVectorizer翻译any将源语言语料库中存在的单词转换为目标语言。当我真正使用它时，我通过从数据中提取所有单独的俄语单词，通过谷歌翻译运行它们，然后保留所有翻译成英语单词的内容来生成一些训练数据。结果非常好（抱歉，我还没有关于基准测试的更多详细信息；它仍在进行中！）。