Popen gibt keine Ausgabe sofort wenn verfügbar

Question

Ich versuche, von stdout und stderr von einem Popen zu lesen und sie auszudrucken. Der Befehl, den ich mit Popen leite ist die folgende

#!/bin/bash 

i=10 
while ((i > 0)); do 
    sleep 1s 
    echo heyo-$i 
    i="$((i-1))" 
done 

echo 'to error' >&2 

Als ich dies in der Shell ausgeführt, ich eine Zeile der Ausgabe zu erhalten und dann eine zweite Pause und dann eine Zeile wieder, usw. Aber ich bin nicht in der Lage zu Erstelle das mit Python neu. Ich starte zwei Threads, jeweils einen von stdout und stderr zu lesen, lege die gelesenen Zeilen in einen Queue und einen anderen Thread, der Elemente aus dieser Warteschlange aufnimmt und ausdruckt. Aber damit sehe ich, dass alle Ausgaben auf einmal ausgedruckt werden, nachdem der Subprozess beendet ist. Ich möchte, dass die Zeilen gedruckt werden, wenn sie echo 'ed sind.

Hier ist meine Python-Code:

# The `randoms` is in the $PATH 
proc = sp.Popen(['randoms'], stdout=sp.PIPE, stderr=sp.PIPE, bufsize=0) 

q = Queue() 

def stream_watcher(stream, name=None): 
    """Take lines from the stream and put them in the q""" 
    for line in stream: 
     q.put((name, line)) 
    if not stream.closed: 
     stream.close() 

Thread(target=stream_watcher, args=(proc.stdout, 'out')).start() 
Thread(target=stream_watcher, args=(proc.stderr, 'err')).start() 

def displayer(): 
    """Take lines from the q and add them to the display""" 
    while True: 
     try: 
      name, line = q.get(True, 1) 
     except Empty: 
      if proc.poll() is not None: 
       break 
     else: 
      # Print line with the trailing newline character 
      print(name.upper(), '->', line[:-1]) 
      q.task_done() 

    print('-*- FINISHED -*-') 

Thread(target=displayer).start() 

Irgendwelche Ideen? Was fehlt mir hier?

Answer 1

Nur stderr ist ungepuffert, nicht stdout. Was Sie wollen, kann nicht allein mit den Shell-Einbauten getan werden. Das Pufferverhalten ist in der stdio (3) C-Bibliothek definiert, die Zeilenpufferung nur anwendet, wenn die Ausgabe an ein Terminal erfolgt. Wenn die Ausgabe an eine Pipe erfolgt, wird sie gepuffert, nicht gepuffert, und die Daten werden nicht zum Kernel und von dort zum anderen Ende der Pipe übertragen, bis der Pipe-Puffer gefüllt ist.

Darüber hinaus hat die Shell keinen Zugriff auf libc Puffer-steuernde Funktionen, wie setbuf (3) und Freunde. Die einzige mögliche Lösung innerhalb der Shell besteht darin, Ihren Co-Prozess auf einem Pseudo-Tty zu starten, und Pty Management ist ein komplexes Thema. Es ist viel einfacher, das entsprechende Shell-Skript in einer Sprache neu zu schreiben, die Zugriff auf Low-Level-Pufferfunktionen für Ausgabestreams gewährt, als dafür zu sorgen, dass etwas über eine Pty ausgeführt wird.

Wenn Sie jedoch /bin/echo anstelle der integrierten Shell echo aufrufen, können Sie es mehr nach Ihren Wünschen finden. Dies funktioniert, weil jetzt die gesamte Zeile geleert wird, wenn der neu gestartete Prozess /bin/echo jedes Mal beendet wird. Dies ist kaum eine effiziente Nutzung von Systemressourcen, sondern kann eine effiziente Nutzung Ihrer eigenen sein.

Answer 2

IIRC, Einstellung shell=True auf Popen sollte es tun.