python multiprocessing mit maxtasksperchild

Question

EDIT: Ich habe dies in Python als Fehler bestätigt. Es ist der Bug http://bugs.python.org/issue10332 (Ich habe einen neuen Fehler eingereicht, woraufhin mich der Betreuer auf 10332 verwiesen hat). Ich habe das Multiprocessing-Verzeichnis aus Python-Quell-Repository in mein Projektverzeichnis kopiert, und der Testfall funktioniert nun ordnungsgemäß.

Dieses scheinbar einfache Programm funktioniert nicht für mich, wenn ich den Parameter maxtasksperchild nicht entferne. Was mache ich falsch?

from multiprocessing import Pool 
import os 
import sys 

def f(x): 
    print "pid: ", os.getpid(), " got: ", x 
    sys.stdout.flush() 
    return [x, x+1] 

def cb(r): 
    print "got result: ", r 

if __name__ == '__main__': 
    pool = Pool(processes=1, maxtasksperchild=9) 
    keys = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] 
    result = pool.map_async(f, keys, chunksize=1, callback=cb) 
    pool.close() 
    pool.join() 

Wenn ich es laufen, erhalte ich:

$ python doit.py 
pid: 6409 got: 1 
pid: 6409 got: 2 
pid: 6409 got: 3 
pid: 6409 got: 4 
pid: 6409 got: 5 
pid: 6409 got: 6 
pid: 6409 got: 7 
pid: 6409 got: 8 
pid: 6409 got: 9 

Und es hängt. Das heißt, der neue Arbeiter, der das 10. Element verarbeiten soll, wurde nicht erzeugt.

In einem anderen Terminal, ich sehe:

$ ps -C python 
    PID TTY   TIME CMD 
6408 pts/11 00:00:00 python 
6409 pts/11 00:00:00 python <defunct> 

Das auf Ubuntu erfolgt 11.10 Python läuft 2.7.2+ (von Ubuntu-Pakete installiert).

Answer 1

ich nie Multithreading in Python verwendet, aber ich denke, man maxtasksperchild = 10 auf dieser Linie machen will: pool = Pool(processes=1, maxtasksperchild=9) und den Ausgang danach Änderung:

bedeutet

pid: 8436 got: 1 
pid: 8436 got: 2 
pid: 8436 got: 3 
pid: 8436 got: 4 
pid: 8436 got: 5 
pid: 8436 got: 6 
pid: 8436 got: 7 
pid: 8436 got: 8 
pid: 8436 got: 9 
pid: 8436 got: 10 
got result: [[1, 2], [2, 3], [3, 4], [4, 5], [5, 6], [6, 7], [7, 8], [8, 9], [9, 10], [10, 11]] 

Answer 2

maxtasksperchild eine Verarbeitung maximale Anzahl von Aufgaben ausführen

Answer 3

Dieses Problem wurde in Python3 behoben.

pid: 18316 got: 1 
pid: 18316 got: 2 
pid: 18316 got: 3 
pid: 18316 got: 4 
pid: 18316 got: 5 
pid: 18316 got: 6 
pid: 18316 got: 7 
pid: 18316 got: 8 
pid: 18316 got: 9 
pid: 18317 got: 10 
got result: [[1, 2], [2, 3], [3, 4], [4, 5], [5, 6], [6, 7], [7, 8], [8, 9], [9, 10], [10, 11]]