Gründe für die Verwendung von Lex/Yacc-Alternativen?

Question

Ungefähr einmal pro Jahr muss ich eine Grammatik und einen Parser entwickeln oder zumindest entwerfen - das scheint eine Konstante meines Arbeitslebens zu sein.

Jedes Mal, wenn ich mit dieser Aufgabe konfrontiert bin, also etwa ein Jahr, überlege ich, ziemlich lex/yacc (flex/bison), Alternativen für plain lex/yacc und nach einigen Nachdenkend und versuchend, komme ich zurück zu schlichtem lex/yacc.

Weil ich einen CORBA-Server an der Nabe der Anwendung, die ich in von von einem Parser in fast jeder Sprache geschrieben nennen kann, so dass in dieser Zeit hatte ich einen Blick auf

• antlr4 (Java) und antlr3 (Java hat aber RT für andere Sprachen),
• SableCC (Java),
• Parse :: EBNF, Parse :: Yapp und Marpa (Perl),
• und SimpleParse (Python),

Für mich war das Tandem antlr4 mit antlrworks der aussichtsreichste Kandidat, aber ich bin noch nicht davon überzeugt, dass die Zeit, die man damit verbringen wird, amortisiert wird.

Die Grammatik, die ich entwickeln muss, ist ähnlich zu SQL DDL (in Bezug auf die Struktur, nicht in Bezug auf das Thema).

Warum würde irgendeine der Alternativen meine Aufgabe einfacher machen als die Verwendung von einfachem Lex/Yacc?

Answer 1

Was Sie auch beachten sollten, ist, dass verschiedene Parser-Generatoren ganz andere Parser erzeugen. Yacc/bison generieren Bottom-up-Parser, die oft schwer zu verstehen sind, schwer zu debuggen sind und seltsame Fehlermeldungen enthalten. ANTLR erzeugt zum Beispiel einen rekursiven Sinkflug-Top-Down-Parser, der einfacher zu verstehen ist, Sie können ihn leicht debuggen (es sei denn, Sie haben einen 35MB-Lexer wie ich), Sie können nur Subregeln für eine Analyseoperation verwenden (zB nur Parsen von Ausdrücken anstelle der vollständigen Sprache).

Darüber hinaus ist seine Fehlerbeseitigung viel besser und verursacht viel sauberere Fehler. Es gibt ANTLRWorks, eine großartige plattformübergreifende Anwendung zum Entwickeln und Debuggen Ihrer Grammatik (nur debuggen, wenn Sie ein Java-Ziel verwenden). Apropos Ziele: Sie können Parser in verschiedenen Sprachen (C, C++, C#, Java und mehr) aus derselben Grammatik generieren, sofern Sie keine sprachspezifischen Aktionen in Ihrer Grammatik haben (Sie haben dies bereits in Ihrer Frage erwähnt). Und während wir von Aktionen sprechen: Aufgrund des Bewertungsprinzips im unteren Parser (Shift-Token, Shift-Token, reduziere sie zu einem neuen Token und verschiebe es etc.) können Aktionen dort leicht Probleme verursachen, z. mehr als einmal und so auszuführen. Nicht so bei Parsern, die von ANTLR generiert wurden.

Ich habe auch im Laufe der Jahre verschiedene Parser-Generatoren ausprobiert, sogar selbst geschrieben, aber ich würde jederzeit ANTLR als Werkzeug der Wahl empfehlen.

Answer 2

Die latest Marpa is Marpa::R2, die große Verbesserungen in "whipituptude" hat, einschließlich a very convenient new DSL interface, die selbst in Marpa geschrieben wird. Sie könnten in Betracht ziehen, mit Marpa zu beginnen, für "Prototyping". Marpa ist stark deklarativ und verwendet sauberes BNF. Wenn Sie migrieren, können Sie den größten Teil Ihrer Arbeit für den neuen Parser übernehmen. Marpa ist in seiner Fehlerbehandlung und -erkennung unübertroffen, auch in einer Prototyping-Phase sehr praktisch.

Marpa analysiert alle Grammatikklassen, die von den anderen in linearer Zeit aufgeführten Parsern analysiert wurden, und ist in seiner Flexibilität unübertroffen. Mit der neuesten Funktion können Sie von Marpa zu Ihrem eigenen Parsing-Code wechseln. Sie könnten also sogar bleiben. Es gibt a website, und mein Blog hat a series of tutorials, was der beste Weg sein könnte, um Marpa kennenzulernen.