我尝试在 SpaCy 小模型中查看词汇量:
model_name="en_core_web_sm"
nlpp=spacy.load(model_name)
len(list(nlpp.vocab.strings))
只给了我 1185 个单词。我也在同事的机器上进行了尝试,并给出了不同的结果(1198 和 1183)。
难道只有这么小的词汇量才能训练词性标注吗?当我在数据集中使用它时,我丢失了很多单词。为什么不同机器的字数不同?
Thanks!
词汇表是动态加载的,因此当您第一次加载词汇表时,StringStore 中并没有所有单词。如果您尝试以下操作,您可以看到这一点...
>>> import spacy
>>> nlp = spacy.load('en_core_web_sm')
>>> len(nlp.vocab.strings)
1180
>>> 'lawyer' in nlp.vocab.strings
False
>> doc = nlp('I am a lawyer')
>>> 'lawyer' in nlp.vocab.strings
True
>>> len(nlp.vocab.strings)
1182
像这样从原始文件中加载词汇表可能是最简单的。
>>> import json
>>> fn = '/usr/local/lib/python3.6/dist-packages/spacy/data/en/en_core_web_sm-2.0.0/vocab/strings.json'
>>> with open(fn) as f:
>>> strings = json.load(f)
>>> len(strings)
78930
请注意,上述文件位置适用于 Ubuntu 18.04。如果您使用的是 Windows,则会有一个类似的文件,但位于不同的位置。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)