nicht blockierenden Methode zum Parsen (Streaming) XML in Python

Question

Ich habe ein XML-Dokument in über einen Sockel kommen, die ich brauche zu analysieren und darauf zu reagieren on the fly (dh einen Teilbaum Parsing). Was ich möchte ist eine nicht blockierende Methode, so dass ich andere Dinge tun kann, während ich darauf warte, dass mehr Daten reinkommen (ohne Threading).

So etwas wie iterparse ideal wäre, wenn es Iterieren beendet, wenn der Lesepuffer leer ist, zB:

context = iterparse(imaginary_socket_file_wrapper) 
while 1: 
    for event, elem in context: 
     process_elem(elem) 
    # iteration of context finishes when socket has no more data 
    do_other_stuff() 
    time.sleep(0.1) 

Ich denke, SAX wäre auch eine Option sein, aber iterparse scheint nur einfacher für meine Bedürfnisse. Irgendwelche Ideen?

Update:

Mit Gewinde ist in Ordnung, aber stellt ein Maß an Komplexität, die ich zu umgehen hoffte auf. Ich dachte, dass nicht blockierende Aufrufe eine gute Möglichkeit wären, dies zu tun, aber ich stelle fest, dass dies die Komplexität der Analyse des XML erhöht.

Answer 1

Eintauchen in die Itersparse-Quelle lieferte die Lösung für mich.Hier ist ein einfaches Beispiel für den Aufbau eine XML-Struktur auf der Fliege und Verarbeitungselementen nach ihrer Nähe tags:

import xml.etree.ElementTree as etree 

parser = etree.XMLTreeBuilder() 

def end_tag_event(tag): 
    node = self.parser._end(tag) 
    print node 

parser._parser.EndElementHandler = end_tag_event 

def data_received(data): 
    parser.feed(data) 

In meinem Fall landete ich es Daten aus verdrillt Fütterung, aber es sollte auch mit einem nicht blockierenden Socket arbeiten .

Answer 2

Wenn Sie keine Threads verwenden, können Sie eine Ereignisschleife verwenden und nicht blockierende Sockets abfragen.

asyncore ist das Standard-Bibliothek-Modul für solche Sachen. Twisted ist die async-Bibliothek für Python, aber komplex und wahrscheinlich ein bisschen Schwergewicht für Ihre Bedürfnisse.

Alternativ ist multiprocessing die nicht-Thread Thread Alternative, aber ich nehme an, Sie nicht 2.6 ausgeführt werden.

Eine oder andere Weise, ich denke, du wirst Threads verwenden müssen, zusätzliche Prozesse oder eine ebenso komplexe async Magie weben.

Answer 3

Ich denke, es gibt zwei Komponenten dazu, die nicht-blockierende Netzwerk-I/O und einen stromorientierten XML-Parser.

Für Ersteres müssen Sie ein nicht blockierendes Netzwerkframework auswählen oder eine eigene Lösung dafür erstellen. Twisted würde sicherlich funktionieren, aber ich persönlich finde die Umkehrung der Kontrollrahmen schwierig, mein Gehirn herum zu wickeln. Sie müssten wahrscheinlich in Ihren Rückrufen eine Menge Status verfolgen, um den Parser zu füttern. Aus diesem Grund tendiere ich dazu, Eventlet ein bisschen einfacher zu programmieren zu finden, und ich denke, dass es in dieser Situation gut passen würde.

Im Wesentlichen erlaubt es Ihnen, Ihren Code zu schreiben als ob Sie eine blockierende Socket-Aufruf wurden unter Verwendung (eines gewöhnlichen Schleife oder einen Generator mit oder was auch immer Sie mögen), mit der Ausnahme, dass Sie es in einen separaten Koroutine laichen können (ein " greenlet "), die automatisch eine kooperative Ausbeute erzielt, wenn I/O-Operationen blockiert werden, wodurch andere Coroutinen ausgeführt werden können.

Dies macht jeden stromorientierte Parser trivial erneut verwendet wird, da der Code wie ein gewöhnlicher blockierenden Anruf aufgebaut ist. Es bedeutet auch, dass viele Bibliotheken, die nicht direkt mit Sockets oder anderen I/O arbeiten (wie der Parser zum Beispiel), nicht speziell modifiziert werden müssen, um nicht blockierend zu sein: Wenn sie blockieren, liefert Eventlet die Coroutine.

Zugegeben, Eventlet ist leicht magisch, aber ich finde es hat eine viel leichtere Lernkurve als Twisted, und führt zu einfacher Code, weil Sie nicht Ihre Logik "nach außen" auf das Framework passen müssen.