如何找到文本所涉及的 wikidata（或 freebase 或 DBpedia）主题列表？

我正在寻找一种解决方案来提取文本（或 html）文档所涉及的概念列表。我希望这些概念成为 wikidata 主题（或 freebase 或 DBpedia）。

例如 ”《Bad》是迈克尔·杰克逊的歌曲" 应该返回 Michael Jackson（艺术家，wikidata Q2831）和 Bad（歌曲，wikidata Q275422）。如此例所示，系统应该对拼写错误 (Mikael) 和歧义 (Bad) 具有鲁棒性。

理想情况下，系统应该跨多种语言工作，它应该同时处理短文本和长文本，并且当不确定时它应该返回多个主题（例如，糟糕的歌曲+糟糕的专辑）。此外，理想情况下它应该是开源的并具有 python API。

是的，这听起来像是圣诞老人的清单。有任何想法吗？

Edit

我检查了一些解决方案，但到目前为止还没有灵丹妙药。

• NLTK 解析文本并提取“命名实体”（AFAIU，引用名称的句子的一部分），但它不返回维基数据主题，仅返回纯文本。这意味着它可能不明白“我向警长开枪" 是鲍勃·马利 (Bob Marley) 的一首歌曲的名称，它会将其视为一个句子。
• OpenNLP 的作用大致相同。
• Wikidata 有一个搜索 API，但一次只能搜索一个术语，并且不处理歧义消除。
• 有一些商业服务（OpenCalais、AlchemyAPI、CogitoAPI...），但恕我直言，没有一个真正出色。

您可以使用 Spacy 检索命名实体，然后使用搜索 API 将它们链接到 WikiData。

对于 Spacy 与命名实体不匹配的句子的剩余部分，您可以从句子中创建一个 ngram 列表，从最大的 ngram 开始，您可以使用 WikiData 搜索 API 来查找 WikiData 主题。

词性标注可以很好地利用，也就是说语法解析信息更强大，因为你可以知道单词之间的关系。例如，给出以下输出链接语法 http://abiword.org/projects/link-grammar/:

Found 8 linkages (8 had no P.P. violations)
    Linkage 1, cost vector = (UNUSED=0 DIS= 0.15 LEN=9)

    +-------------------------Xp-------------------------+
    +----------->WV---------->+                          |
    +-------Wd------+         +---------Osn--------+     |
    |       +---G---+----Ss---+----Os----+         |     |
    |       |       |         |          |         |     |
LEFT-WALL Bob.m Marley[!] wrote.v-d Natural[!] Mystic[!] . 

您可以看出主题是“Bob Marley”，因为

1. “wrote”与“Marley”相连S http://abiword.org/projects/link-grammar/dict/section-S.html它将主语名词与有限动词连接起来。
2. “Marley”通过以下方式连接到“Bob”G http://abiword.org/projects/link-grammar/dict/section-G.html将专有名词连接在一起。

因此，“Bob Marley”是一个很好的实体候选者（而且它的两个单词都大写）。

鉴于上面的解析“树”，即使“自然”和“神秘”位于句子的同一侧，也很难判断它们是否相关。

链接语法提供的第二个解析具有相同的成本向量，并将“Natural Mystic”再次与 G 连接在一起。

就这个：

    Linkage 2, cost vector = (UNUSED=0 DIS= 0.15 LEN=9)

    +-------------------------Xp-------------------------+
    +----------->WV---------->+                          |
    +-------Wd------+         +---------Os---------+     |
    |       +---G---+----Ss---+          +----G----+     |
    |       |       |         |          |         |     |
LEFT-WALL Bob.m Marley[!] wrote.v-d Natural[!] Mystic[!] .

因此，在我看来，“Bob Marley”和“Natural Mystic”是维基数据搜索的良好候选者。

这是语法和拼写正确的简单问题。

以下是对同一句子 11 个小写字母的解析：

Linkage 1, cost vector = (UNUSED=1 DIS= 0.15 LEN=14)

    +------------------------Xp------------------------+
    +----------------------Wa---------------------+    |
    |       +------------------AN-----------------+    |
    |       |        +-------------AN-------------+    |
    |       |        |                  +----AN---+    |
    |       |        |                  |         |    |
LEFT-WALL Bob.m marley[?].n [wrote] natural.n mystic.n . 

LG 甚至不认识这个动词。