Wrong AST Auswahl

Question

folgende ANTLR v3 Grammatik Gegeben:

tokens 
{ 
    OPTION; 
    UNKNOWN; 
} 

statement : my_statement 
      | UNKNOWN_KEYWORD -> ^(UNKNOWN) 
      ; 

my_statement : FIRST SECOND type = THIRD? -> ^(OPTION $type?); 


FIRST : 'my'; 

SECOND : 'keyword'; 

THIRD: 'best'; 

UNKNOWN_KEYWORD : .; 

Warum das ist, wenn die Zeichenfolge „mein Stichwort this_is_garbage“ analysiert wird, wird abgeholt von my_statement während es picked- hätte sein sollen up von UNKNOWN_KEYWORD (dh der AST, die zurückgegeben wird, ist ^(OPTION $ type?) während es ^(UNKNOWN) hätte sein sollen)?

FIRST    'my' 
SECOND    'keyword' 
UNKNOWN_KEYWORD 't' 
UNKNOWN_KEYWORD 'h' 
... 
UNKNOWN_KEYWORD 'e' 

das heißt, ein FIRST Token ein Token SECOND und dann 15 UNKNOWN_KEYWORD Tokens:

Answer 1

Der Eingang my keyword this_is_garbage wird wie folgt (unter der Annahme Räumen versteckt sind) werden in Token aufgeteilt.

Wenn Sie nun versuchen, statement übereinstimmen, wird die Regel my_statement verbrauchen würde gerne die FIRST und SECOND Token, die 15 UNKNOWN_KEYWORD Token in dem Token-Strom zu verlassen.

Wenn Sie jedoch immer wieder Ihre statement Regel wie diese passen würde:

parse 
: statement+ EOF 
; 

dann würden Sie mit dem folgenden Parsing-Baum am Ende:

oder dieses AST:

Und wenn Sie alle UNKNOWN_KEYWORD Token in 1 Alternative zur Gruppe wollen, müssen Sie tun müssen:

statement : my_statement 
      | UNKNOWN_KEYWORD+ -> ^(UNKNOWN) 
      ; 

Beachten Sie, dass Sie kann nicht Gruppe UNKNOWN_KEYWORD in Ihrem Lexer:

UNKNOWN_KEYWORD : .+ ; 

weil das würde dazu führen, dass der Lexer den gesamten Zeichenstrom in ein einzelnes UNKNOWN_KEYWORD Token verschlingt.