ANTLR：如何使用词法分析器解析匹配括号内的区域

我想在我的词法分析器中解析这样的东西：

( begin expression )

其中表达式也用括号括起来。表达式中的内容并不重要，我只想拥有表达式之间的所有内容(begin和匹配的)作为令牌。一个例子是：

(begin 
    (define x (+ 1 2)))

所以令牌的文本应该是

(define x (+ 1 2)))

就像是

PROGRAM : LPAREN BEGIN .* RPAREN;

确实（显然）不起作用，因为一旦他看到“）”，他就认为规则已经结束，但我需要匹配的括号。

我怎样才能做到这一点？

在词法分析器规则内，您可以递归地调用规则。所以，这是解决这个问题的一种方法。另一种方法是跟踪左括号和右括号的数量，并让门控语义谓词 https://stackoverflow.com/questions/3056441/what-is-a-semantic-predicate-in-antlr只要你的计数器大于零就循环。

A demo:

T.g

grammar T;

parse
  :  BeginToken {System.out.println("parsed :: " + $BeginToken.text);} EOF
  ;

BeginToken 
@init{int open = 1;}
  :  '(' 'begin' ( {open > 0}?=>              // keep reapeating `( ... )*` as long as open > 0
                     ( ~('(' | ')')           // match anything other than parenthesis
                     | '('          {open++;} // match a '(' in increase the var `open`
                     | ')'          {open--;} // match a ')' in decrease the var `open`
                     )
                 )*
  ;

主程序.java

import org.antlr.runtime.*;

public class Main {
  public static void main(String[] args) throws Exception {
    String input = "(begin (define x (+ (- 1 3) 2)))";
    TLexer lexer = new TLexer(new ANTLRStringStream(input));
    TParser parser = new TParser(new CommonTokenStream(lexer));
    parser.parse();
  }
}

java -cp antlr-3.3-complete.jar org.antlr.Tool T.g
javac -cp antlr-3.3-complete.jar *.java
java -cp .:antlr-3.3-complete.jar Main

parsed :: (begin (define x (+ (- 1 3) 2)))

请注意，您需要注意源代码中可能包含括号的字符串文字：

BeginToken
@init{int open = 1;}
  :  '(' 'begin' ( {open > 0}?=>              // ...
                     ( ~('(' | ')' | '"')     // ...
                     | '('          {open++;} // ...
                     | ')'          {open--;} // ...
                     |  '"' ...               // TODO: define a string literal here
                     )
                 )*
  ;

或可能包含括号的注释。

带有谓词的建议使用一些特定于语言的代码（在本例中为 Java）。递归调用词法分析器规则的优点是您的词法分析器中没有自定义代码：

BeginToken 
  :  '(' Spaces? 'begin' Spaces? NestedParens Spaces? ')'
  ;

fragment NestedParens
  :  '(' ( ~('(' | ')') | NestedParens )* ')'
  ;

fragment Spaces
  :  (' ' | '\t')+
  ;