multiprocessing.pool.map_async führt meine Funktion nicht

Question

Ich versuche, einen Pool von identischen Prozessen auf einer Reihe von Kernen gleichzeitig auszuführen. Dies ist eine vereinfachte Version meines Codes. Es scheint, als ob meine Funktion nie von map_async aufgerufen wird, und der Code wird blockiert (direkt nach print (4)). Irgendeine Idee?

import multiprocessing 
pairs = [['a','b'],['c','d'],['e','f'],['g','h']] 

def printPairs(first, second): 
    print('pairs =', pairs) 

def parallel(function, pairs): 
    cpu_no = multiprocessing.cpu_count() 
    if len(pairs) < cpu_no: 
     cpu_no = len(pairs) 

    p = multiprocessing.Pool(cpu_no) 
    p.map_async(function, pairs, chunksize=1) 
    print('3, p = ', p) 
    p.close() 
    print('4') 
    p.join() 
    print('5')  
    return 

parallel(printPairs, pairs) 

Answer 1

Make pairs ein Argument von printPairs:

import multiprocessing 


def printPairs(pairs): 
    print('pairs =', pairs) 

def parallel(function, pairs): 
    cpu_no = multiprocessing.cpu_count() 
    if len(pairs) < cpu_no: 
     cpu_no = len(pairs) 

    p = multiprocessing.Pool(cpu_no) 
    p.map_async(function, pairs, chunksize=1) 
    print('3, p = ', p) 
    p.close() 
    print('4') 
    p.join() 
    print('5') 
    return 

pairs = [['a','b'],['c','d'],['e','f'],['g','h']] 
parallel(printPairs, pairs) 

und es funktioniert.

Ausgang:

3, p = <multiprocessing.pool.Pool object at 0x10169d0f0> 
4 
pairs = ['c', 'd'] 
pairs = ['a', 'b'] 
pairs = ['e', 'f'] 
pairs = ['g', 'h'] 
5 

Answer 2

Ich vermute, dass auf Windows Sie die Funktion Ergebnisse erhalten müssen, auch wenn Sie sie nicht brauchen. Es scheint eine gute Idee zu sein, auch wenn es nicht notwendig ist.

import multiprocessing 
pairs = [['a','b'],['c','d'],['e','f'],['g','h']] 

def printPairs(pair): 
    print('pair =', pair) 

def parallel(function, pairs): 
    cpu_no = multiprocessing.cpu_count() 
    if len(pairs) < cpu_no: 
     cpu_no = len(pairs) 

    p = multiprocessing.Pool(cpu_no) 
    res = p.map_async(function, pairs, chunksize=1) 
    print('3, p = ', p) 
    print(res.get()) 
    print('4') 
    p.close() 
    print('5') 
    p.join() 
    print('6') 
    return 

if __name__ == '__main__': 
    parallel(printPairs, pairs)