作为较大项目的一部分，我需要阅读文本并将每个单词表示为数字。例如，如果程序读入“每个好孩子都应该得到果实“，然后我会得到一个转换表'every' to '1742', 'good' to '977513', etc.
现在，显然我可以使用哈希算法来获取这些数字。然而，如果具有相似含义的单词的数值彼此接近，则会更有用，因此 'good'变成'6827' and 'great'变成'6835', etc.
作为另一种选择，与其用一个简单的整数表示每个数字，不如使用由多个数字组成的向量，例如 (lexical_category,tense, 分类，特定单词），其中词汇类别是名词/动词/形容词/等，tense是未来/过去/现在，分类定义了一组广泛的一般主题，specific_word与上一段中描述的非常相似。
是否存在这样的算法？如果没有，您能给我一些关于如何开始自己开发的建议吗？我用 C++ 编码。
如果你的想法有点天真，那么它很有趣（但不用担心，天真的问题在 NLP 领域很有用）。
抛开其他实际问题不谈（例如解析、词性标记、词干提取，当然还有识别/映射给定单词的问题……此后我会非常简短地讨论它们），有几个困难原则你的建议[采用数字尺度，其中语义上相近的单词以接近的方式编码]：
- 一词多义（花哨的词表明某些词可以有多个不相关的含义）
- 语义是多维的。例如，名词“进取心”既传达“能量”的意思，又传达“热情”的意思
- 有些概念与其他概念完全无关，例如，“茶”和“地毯”属于两组不同的单词，但试图将它们放在线性尺度上会隐含地否定这种尺度上的距离的想法（除了可能非常远）小距离）与语义有任何联系。
- 表达式：在句子中，特定的概念有时由表达式而不是单个单词来承载。例如“文艺复兴时期的人”或“目录”。
- 语义有时（经常）来自上下文。例如“老板”通常指某人的主管，也是布鲁斯·斯普林斯汀的昵称。
简而言之
a) 含义（或“定义“，如问题中所称，或”语义“正如语言学家所说的那样）是一件棘手的事情，它不适合映射到一条线，甚至一棵树上。可以使用其他图形，例如网络，但即便如此，当应用超出相对范围时，事情也会变得有点棘手。受限制的域。
and
b) 由于一词多义、表达方式等原因，将单词与含义关联起来也很棘手。
尽管如此，如果您想尝试问题中建议的那种映射，也许在特定领域的上下文中（例如体育评论或机械维修）和/或理解某些单词必须是任意映射，在“深入”之前，您可能想要熟悉以下 NLP（自然语言处理）学科和资源:
- 词性 (POS) 标记 http://en.wikipedia.org/wiki/Part-of-speech_tagging
- Stemming http://en.wikipedia.org/wiki/Stemming
-
WordNet http://wordnet.princeton.edu/和其他词汇数据库
-
斯坦福自然语言处理小组 http://www-nlp.stanford.edu/
包括他们的注释统计和基于语料库的 NLP 软件资源列表 http://www-nlp.stanford.edu/links/statnlp.html
-
自然语言工具包 (NLTK) http://www.nltk.org/（基于Python，但非常具有说教性）
关于您使用的兴趣用 C++ 编写的工具，您可能会发现其中的几个，用于不同的目的（并且质量不同！）。您可能还会发现，尽管出于性能原因，它们有时会绑定到用 C/C++ 编写的原语，但许多现代 NLP 框架和工具倾向于使用 Java 甚至 Python 等脚本语言。我没有使用基于 C++ 的 NLP 软件的直接经验。如果您没有找到您需要的东西（在 C++ 中），我强烈建议您尝试自己实现一些东西，至少在您之前广泛回顾了以前的技术并充分理解潜在的困难之前。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
