本文是LLM系列文章,针对《Dynamic Hierarchical Reasoning with Language Model and Knowledge Graph for Question Answering》的翻译。
摘要
近年来,具有增强知识图谱(KG)的图神经网络(GNN)方法在问答(QA)任务中表现良好。一个关键的挑战是如何有效地利用QA上下文和KG之间的交互。然而,现有的工作只采用相同的QA上下文表示来与多层KG交互,这导致了有限的交互。在本文中,我们提出了DRLK(具有语言模型和知识图谱的动态层次推理),这是一种利用QA上下文和KG之间的动态层次交互进行推理的新模型。DRLK提取QA上下文中的动态分层特征,并在每次迭代中执行层间和层内交互,允许KG表示以QA上下文的分层特征为基础。我们在医学QA和常识推理的四个基准数据集上进行了广泛的实验。实验结果表明,DRLK在两个基准数据集上都达到了最先进的性能,在其他数据集上表现有竞争力。
1 引言
2 相关工作
3 方法
4 实验设置
5 结果与分析
6 结论
在本文中,我们提出了一种新的模型,该模型通过QA上下文和KG之间的分层交互实现精确推理。与基于微调的LM和KG增强方法相比,DRLK在两个医学QA基准数据集上实现了SOTA性能。在常识推理基准数据集上,DRLK的表现具有竞争力。实验结果表明,动态层次交互在处理复杂知识关系方面具有优越性。此外,在不同领域上的结果表明,DRLK对问答任务具有推广作用。
7 局限性
为了验证DRLK的有效性,我们在四个不同领域和规模的基准数据集上进行了广泛的实验。四个数据集的结果表明,DRLK在两个数据集上实现了SOTA性能,仅略低于其他数据集。尽管如此,DRLK依赖于域KG,其中KG的缺失或低质量将直接影响DRLK的性能。
此外,我们跟随冯等人为每个问题提取了一个具有200个节点的知识子图。由于GPU资源的限制,我们没有测试不同知识子图尺度的效果,因为这不是DRLK的主要问题。针对上述两个局限性,我们将在未来进行进一步的研究。