Wie schreibe ich eine PLY-Schnittstelle für handgeschriebene Lexer?

Question

Ich schreibe einen Compiler in Python, und ich habe einen handgeschriebenen Lexer erstellt, weil ich nicht herausfinden kann, wie Einrückung in PLY zu parsen. Auch mein Lexer einige yield Aussagen verwendet wie folgt:

def scan(): 
... 
    for i in tokens: 
     if i[0]: yield Token(self.line, i[0] if i[0] in keywords else "ident", i[0]) 
      elif i[1]: 
       if "e" in i[1]: 
        base, exp = i[1].split("e") 
        val = float(base) * 10 ** int(exp) 
       else: val = float(i[1]) 
       yield Token(self.line, "float", val) 
     ... other cases ... 

jedoch erkannte ich, dass die PLY Parser eine token Methode erfordert, also machte ich eine, die wie folgt aussieht:

def token(self): 
    return next(self.scan()) 

Die tatsächliche Scan Die Verwendung von scan() dauert nach meinen Tests im Durchschnitt 124 ms, aber wenn ich den PLY-Parser verwende, beginnt das Parsing nicht nach ein paar Minuten. Es scheint, dass meine Methode ein Problem hat.

Auch ich habe versucht, die scan() Methode umzubenennen, so dass es könnte die Schnittstelle werden. Python gibt so etwas wie

AttributeError: 'generator' object has no attribute 'type' 

So scheint es, dass PLY ein Verfahren benötigt, die ein einzelnes Zeichen in einer Zeit zurückkehren werden.

Gibt es eine Möglichkeit, die Methode so umzuschreiben, dass es die nächste Iteration von scan() zurückgeben würde und nicht so langsam?

Answer 1

Sie benötigen Generator irgendwo zu speichern, wie:

def start(...): 
    self.lexer = self.scan() 

def token(...): 
    return next(self.lexer) 

Haftungsausschluss: Ich weiß nichts über PLY.