根据这个链接 https://www.tensorflow.org/datasets/api_docs/python/tfds/features/text/SubwordTextEncoder#build_from_corpus, target_vocab_size:int，要创建的词汇表的大致大小。该声明对我来说相当含糊。据我所知，编码器会将每个词汇映射到一个唯一的 ID。如果语料库有会发生什么vocab_size大于target_vocab_size?
The 文档 https://www.tensorflow.org/datasets/api_docs/python/tfds/features/text/SubwordTextEncoder says:
编码是完全可逆的，因为所有词汇外的单词都是字节编码的
这意味着未知的单词片段将一次编码一个字符。通过一个例子最好理解。假设您构建了一个SubwordTextEncoder使用非常大的英语文本语料库，以便大多数常见单词都在词汇表中。
vocab_size = 10000
tokenizer = tfds.features.text.SubwordTextEncoder.build_from_corpus(
corpus_sentences, vocab_size)
假设您尝试标记以下句子。
tokenizer.encode("good badwords badxyz")
它将被标记为：
- good
- bad
- words
- bad
- x
- y
- z
正如您所看到的，由于单词“xyz”不在词汇表中，因此它被标记为字符。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
