斯坦福 CoreNLP：使用部分现有注释

我们正在尝试利用现有的

• 代币化
• 句子分割
• 和命名实体标记

同时我们希望使用斯坦福 CoreNlp 额外为我们提供

• 词性标注
• 词形还原
• 和解析

目前，我们正在尝试以下方式：

1）为“pos、lemma、parse”创建一个注释器

Properties pipelineProps = new Properties();
pipelineProps.put("annotators", "pos, lemma, parse");
pipelineProps.setProperty("parse.maxlen", "80");
pipelineProps.setProperty("pos.maxlen", "80");
StanfordCoreNLP pipeline = new StanfordCoreNLP(pipelineProps);

2）读入句子，使用自定义方法：

List<CoreMap> sentences = getSentencesForTaggedFile(idToDoc.get(docId));

在该方法中，令牌的构造方式如下：

CoreLabel clToken = new CoreLabel();
clToken.setValue(stringToken);
clToken.setWord(stringToken);
clToken.setOriginalText(stringToken);
clToken.set(CoreAnnotations.NamedEntityTagAnnotation.class, neTag);
sentenceTokens.add(clToken);

它们被组合成这样的句子：

Annotation sentence = new Annotation(sb.toString());
sentence.set(CoreAnnotations.TokensAnnotation.class, sentenceTokens);
sentence.set(CoreAnnotations.TokenBeginAnnotation.class, tokenOffset);
tokenOffset += sentenceTokens.size();
sentence.set(CoreAnnotations.TokenEndAnnotation.class, tokenOffset);
sentence.set(CoreAnnotations.SentenceIndexAnnotation.class, sentences.size());

3）句子列表被传递到管道：

  Annotation document = new Annotation(sentences);
  pipeline.annotate(document);

但是，当运行此程序时，我们收到以下错误：

null: InvocationTargetException: annotator "pos" requires annotator "tokenize"

有什么指示我们如何才能实现我们想要做的事情吗？

由于“pos”注释器（一个实例）未满足预期的要求，因此引发异常POSTagger注释器 https://github.com/stanfordnlp/CoreNLP/blob/master/src/edu/stanford/nlp/pipeline/POSTaggerAnnotator.java class)

StanleyCoreNLP 知道如何创建的注释器的要求定义在注释器 https://github.com/stanfordnlp/CoreNLP/blob/master/src/edu/stanford/nlp/pipeline/Annotator.java界面。对于“pos”注释器的情况，定义了 2 个要求：

• 标记化
• ssplit

这两个要求都需要满足，这意味着“tokenize”注释器和“ssplit”注释器必须在注释器列表中的“pos”注释器之前指定。

现在回到问题...如果您想在管道中跳过“tokenize”和“ssplit”注释，则需要禁用在管道初始化期间执行的需求检查。我发现了两种等效的方法：

• 禁用传递给StanfordCoreNLP构造函数的属性对象中的要求强制：

  props.setProperty("enforceRequirements", "false");

• 将StanfordCoreNLP构造函数的enforceRequirements参数设置为false

  StanfordCoreNLP pipeline = new StanfordCoreNLP(props, false);