antlr4 - Parser nicht richtig funktioniert, wenn Token mit

Question

Ich habe eine sehr einfache Grammatik geschaffen, das Problem zu zeigen, die ich gestoßen:

grammar Expr; 
test: funcDecl; 
//----------------------------------------------------------------------- 
funcDecl: funcHead ';'; 
funcHead: type '*'? IDENTIFIER '(' formParList? ')'; 
formParList: ('void' | 
       type '*'? IDENTIFIER ('[' ']')? 
       (',' type '*'? IDENTIFIER ('[' ']')?)* 
      ); 
type:  'void' | 'bool' | 'int'; 

// ---------------------------------------------------------------------- 
Whitespace:  [ \t]+ -> skip; 
LineComment: '//' ~[\r\n]* -> skip; 
NEWLINE :  ('\r' '\n'? | '\n') -> skip; 

IDENTIFIER:  CHARACTER (CHARACTER | DIGIT)*; 

fragment 
CHARACTER: [a-zA-Z_]; 
fragment 
DIGIT:  [0-9]; 

Die Grammatik oben erzeugt folgenden AST mit diesem Beispielcode:

void Sieve(int n); // declaration 

So sieht die Grammatik aus, nachdem die type in ein Token geändert wurde (Änderung type bis TYPE):

... 
funcHead: TYPE '*'? IDENTIFIER '(' formParList? ')'; 
... 
TYPE:  'void' | 'bool' | 'int'; 
... 

Nach so tun, ich die folgende Fehlermeldung erhalten:

line 1:0 mismatched input 'void' expecting TYPE 

Warum ist das so? Sobald ich einen Token für den Typ verwende, löst der Parser diesen Fehler aus. Aber das Token IDENTIFIER funktioniert unabhängig ...

Answer 1

Haben Sie Ihre formParList geändert, um nicht 'void' zu enthalten. Jedes im Parser-Abschnitt verwendete Literal wird zu einem impliziten Lexer-Token mit Priorität vor den explizit definierten Token.

Wenn Sie in dieser Position aufheben möchten, können Sie etwas tun:

funcHead: type '*'? IDENTIFIER '(' formParList? ')'; 
formParList: (VOID | 
      type '*'? IDENTIFIER ('[' ']')? 
      (',' type '*'? IDENTIFIER ('[' ']')?)* 
     ); 
type:  TYPE | VOID; 

... 

TYPE:  'bool' | 'int'; 
VOID:  'void'; 

... 

Oder Sie jede Art ihre eigene Lexer-Token zuweisen, dann wird der Parser-Regel für Typ würde wie folgt aussehen: type: VOID | BOOL | INT. Dies ist wahrscheinlich bequemer, wenn Sie den AST später interpretieren müssen.