Marpa: Kann ich Schlüsselwörter explizit als Bezeichner verbieten?

Question

Ich implementiere ein neues DSL in Marpa und (von Regexp :: Grammars kommend) bin ich mehr als zufrieden. Meine Sprache unterstützt eine Reihe von unären und binären Operatoren, Objekte mit C-style Bezeichnern und Methodenaufrufe unter Verwendung der bekannten Punktnotation. Zum Beispiel:

foo.has(bar == 42 AND baz == 23)

fand ich die prioritized rules Funktion von Sprache Marpas Grammatikbeschreibung angeboten und haben sich auf diesem viel verlassen, so dass ich fast nur eine G1 Regel Expression. Auszug (viele Alternativen, und semantischen Aktionen der Kürze halber weggelassen):

Expression ::= 
     NumLiteral 
    | '(' Expression ')'    assoc => group 
    || Expression ('.') Identifier 
    || Expression ('.') Identifier Args 
    | Expression ('==') Expression 
    || Expression ('AND') Expression 

Args  ::= ('(') ArgsList (')') 
ArgsList ::= Expression+    separator => [,] 

Identifier   ~ IdentifierHeadChar IdentifierBody 
IdentifierBody  ~ IdentifierBodyChar* 
IdentifierHeadChar ~ [a-zA-Z_] 
IdentifierBodyChar ~ [a-zA-Z0-9_] 

NumLiteral ~ [0-9]+ 

Wie Sie sehen, ich bin mit der Scanless Schnittstelle (SLIF). Mein Problem ist, dass diese parsen auch, zum Beispiel:

foo.AND(5) 

Marpa weiß, dass es nur eine Kennung nach einem Punkt sein kann, so dass er nicht die Ansicht, auch die Tatsache, dass AND könnte ein Schlüsselwort sein. Ich weiß, dass ich dieses Problem vermeiden kann, indem ich eine separate Lexing-Stufe mache, die AND explizit als Schlüsselwort identifiziert, aber dieser kleine Papierschnitt ist die Mühe nicht wirklich wert.

Gibt es eine Möglichkeit in SLIF, die Identifier-Regel auf Nicht-Schlüsselwort-Bezeichner zu beschränken?

Answer 1

Ich weiß nicht, wie man so etwas in der Grammatik ausdrücken kann. Sie können einen Zwischen nicht-Terminal für Identifier einführen, die den Zustand überprüfen würde, aber:

#!/usr/bin/perl 
use warnings; 
use strict; 
use Syntax::Construct qw{ // }; 

use Marpa::R2; 

my %reserved = map { $_ => 1 } qw(AND); 

my $grammar = 'Marpa::R2::Scanless::G'->new(
    { bless_package => 'main', 
     source => \(<< '__GRAMMAR__'), 

:default ::= action => store 

:start ::= S 
S ::= Id 
    | Id NumLiteral 
Id ::= Identifier action => allowed 

Identifier   ~ IdentifierHeadChar IdentifierBody 
IdentifierBody  ~ IdentifierBodyChar* 
IdentifierHeadChar ~ [a-zA-Z_] 
IdentifierBodyChar ~ [a-zA-Z0-9_] 

NumLiteral ~ [0-9]+ 

:discard ~ whitespace 
whitespace ~ [\s]+ 

__GRAMMAR__ 
    }); 

for my $value ('ABC', 'ABC 42', 'AND 1') { 
    my $value = $grammar->parse(\$value, 'main'); 
    print $$value, "\n"; 
} 


sub store { 
    my (undef, $id, $arg) = @_; 
    $arg //= 'null'; 
    return "$id $arg"; 
} 

sub allowed { 
    my (undef, $id) = @_; 
    die "Reserved keyword $id" if $reserved{$id}; 
    return $id 
} 

Answer 2

Sie Lexems Prioritäten nur für eine solche Art der Sache bestimmt verwenden können, ist das Beispiel here in Marpa :: R2-Testsuite.

Grundsätzlich deklarieren Sie <AND keyword> ~ 'AND' lexeme und geben Sie ihm Priorität 1, so dass es gegenüber Identifier bevorzugt ist. Das muss es tun.

P.S. Ich habe das obige Skript leicht modifiziert, um ein Beispiel zu geben - code, output.