Python lesen Popen kontinuierlich (Windows)

Question

Ich versuche, stdout.readline und die Ergebnisse (d. H. Jede Zeile, zum Zeitpunkt des Drucks sie an das Terminal) auf eine multiprocessing.Queue für uns in einer anderen .py-Datei. Doch der Ruf:

res = subprocess.Popen(command, stdout=subprocess.PIPE, bufsize=1) 
with res.stdout: 
    for line in iter(res.stdout.readline, b''): 
     print line 
res.wait() 

blockiert und die Ergebnisse werden nach gedruckt werden der Prozess abgeschlossen ist (oder gar nicht, wenn Exit-Code nicht zurückgegeben wird).

Ich habe SO für Antworten darauf durchsucht, und habe versucht, bufsize = 1, Laichen Threads, die das Lesen behandeln, mit Filedescripts, etc. Keine scheint zu funktionieren. Ich muss vielleicht das Modul pexpect verwenden, aber ich bin mir nicht sicher, wie es noch funktioniert.

Ich habe auch versucht,

def enqueue_output(self, out, queue): 
    for line in iter(out.readline, b''): 
     queue.put([line]) 
    out.close() 

Um die Daten in die Warteschlange gestellt, aber da out.readline zu blockieren scheint, wird das Ergebnis das gleiche sein.

Kurz gesagt: Wie stelle ich die Subprozessausgabe zum Zeitpunkt des Drucks zur Verfügung? Er druckt Stücke von 1-10 Zeilen zu einer Zeit, aber diese mir zurückgegeben werden, wenn der Prozess abgeschlossen ist, aber auch ..

Verwandte durch Zeilenumbrüche getrennt:

Python subprocess readlines() hangs

Python: read streaming input from subprocess.communicate()

Non-blocking read on a subprocess.PIPE in python

Answer 1

Wie von @eryksun erklärt und durch Ihren Kommentar bestätigt, ist die Ursache der Pufferung die Verwendung von printf durch die C-Anwendung.

Standardmäßig printf puffert seine Ausgabe, aber die Ausgabe wird auf Newline geleert oder wenn eine Lesung auftritt , wenn die Ausgabe an eine Klemme gerichtet ist. Wenn die Ausgabe an eine Datei oder eine Pipe geleitet wird, tritt die tatsächliche Ausgabe nur auf, wenn der Puffer voll ist.

Glücklicherweise gibt es unter Windows keine Low-Level-Pufferung (*). Das bedeutet, dass das Aufrufen von setvbuf(stdout, NULL, _IONBF, 0); nahe dem Anfang des Programms ausreichend wäre. Aber leider brauchen Sie überhaupt keine Pufferung (_IONBF), da die Zeilenpufferung unter Windows als vollständige Pufferung implementiert ist.

(*) Auf Unix- oder Linux-Systemen kann der zugrunde liegende Systemaufruf eine eigene Pufferung hinzufügen. Das bedeutet, dass ein Programm, das die niedrige Stufe verwendet, unter Windows nicht gepuffert wird, aber weiterhin unter Linux gepuffert wird, wenn die Standardausgabe mit einer Pipe oder einer Datei verbunden ist.