Parallelisierung eine Numpy Vektoroperation

Question

Lassen Sie uns den Einsatz zum Beispiel numpy.sin()

Der folgende Code den Wert des Sinus für jeden Wert des Arrays a zurück:

import numpy 
a = numpy.arange(1000000) 
result = numpy.sin(a) 

Aber meine Maschine verfügt über 32 Kerne Also möchte ich sie benutzen. (Der Overhead könnte sich für etwas wie numpy.sin() nicht lohnen, aber die Funktion, die ich eigentlich verwenden möchte, ist ein wenig komplizierter und ich werde mit einer großen Datenmenge arbeiten.)

Ist das das Beste (lies: intelligenteste oder schnellste) Methode:

from multiprocessing import Pool 
if __name__ == '__main__': 
    pool = Pool() 
    result = pool.map(numpy.sin, a) 

oder gibt es eine bessere Möglichkeit, dies zu tun?

Answer 1

Es ist ein besserer Weg: numexpr

Etwas von ihrer Hauptseite umformuliert:

Es ist ein Multi-Threaded-VM in C geschrieben, die Ausdrücke analysiert, umschreibt sie effizienter und stellt sie zusammen auf Der Fly-in-Code, der nahezu optimale parallele Leistung für Speicher- und CPU-beschränkte Operationen erreicht.

Zum Beispiel, in meiner 4-Kern-Maschine ist die Auswertung eines Sinus nur etwas weniger als 4 mal schneller als numpy.

In [1]: import numpy as np 
In [2]: import numexpr as ne 
In [3]: a = np.arange(1000000) 
In [4]: timeit ne.evaluate('sin(a)') 
100 loops, best of 3: 15.6 ms per loop  
In [5]: timeit np.sin(a) 
10 loops, best of 3: 54 ms per loop 

Dokumentation, einschließlich der unterstützten Funktionen here. Sie müssen überprüfen oder uns mehr Informationen geben, um zu sehen, ob Ihre kompliziertere Funktion von numexpr ausgewertet werden kann.

Answer 2

SciPy hat eigentlich eine ziemlich gute Zuschreibung zu diesem Thema hier: http://wiki.scipy.org/ParallelProgramming

Answer 3

Nun diese Art von interessantem Detail ist, wenn Sie die folgenden Befehle ausführen:

import numpy 
from multiprocessing import Pool 
a = numpy.arange(1000000)  
pool = Pool(processes = 5) 
result = pool.map(numpy.sin, a) 

UnpicklingError: NEWOBJ class argument has NULL tp_new 

erwarten nicht, dass so was geht, gut:

>>> help(numpy.sin) 
    Help on ufunc object: 

sin = class ufunc(__builtin__.object) 
| Functions that operate element by element on whole arrays. 
| 
| To see the documentation for a specific ufunc, use np.info(). For 
| example, np.info(np.sin). Because ufuncs are written in C 
| (for speed) and linked into Python with NumPy's ufunc facility, 
| Python's help() function finds this page whenever help() is called 
| on a ufunc. 

yep numpy.sin wird in c als solche implementiert man nicht wirklich direkt mit Multiprocessing verwenden können.

so müssen wir es mit einer anderen Funktion wickeln

perf:

import time 
import numpy 
from multiprocessing import Pool 

def numpy_sin(value): 
    return numpy.sin(value) 

a = numpy.arange(1000000) 
pool = Pool(processes = 5) 

start = time.time() 
result = numpy.sin(a) 
end = time.time() 
print 'Singled threaded %f' % (end - start) 
start = time.time() 
result = pool.map(numpy_sin, a) 
pool.close() 
pool.join() 
end = time.time() 
print 'Multithreaded %f' % (end - start) 


$ python perf.py 
Singled threaded 0.032201 
Multithreaded 10.550432 

wow, hatte nicht erwartet, dass entweder, auch ein paar Fragen für den Anfang Theres wir eine Python-Funktion auch verwenden Wenn es nur ein Wrapper gegen eine reine c-Funktion ist und auch der Aufwand für das Kopieren der Werte ist, teilt Multiprocessing standardmäßig keine Daten, so dass jeder Wert kopiert werden muss.

Sie beachten Sie, dass bei ordnungsgemäßem Segment unserer Daten:

import time 
import numpy 
from multiprocessing import Pool 

def numpy_sin(value): 
    return numpy.sin(value) 

a = [numpy.arange(100000) for _ in xrange(10)] 
pool = Pool(processes = 5) 

start = time.time() 
result = numpy.sin(a) 
end = time.time() 
print 'Singled threaded %f' % (end - start) 
start = time.time() 
result = pool.map(numpy_sin, a) 
pool.close() 
pool.join() 
end = time.time() 
print 'Multithreaded %f' % (end - start) 

$ python perf.py 
Singled threaded 0.150192 
Multithreaded 0.055083 

Also, was können wir daraus nehmen, Multiprozessing groß ist, aber wir sollten immer testen und vergleichen sie ihre manchmal schneller und manchmal seine langsamer, je nachdem, wie sein verwendet ...

Zugegeben, Sie verwenden nicht numpy.sin, aber eine andere Funktion würde ich Ihnen empfehlen zuerst zu überprüfen, dass in der Tat Multiprocessing die Berechnung beschleunigen wird, möglicherweise der Overhead des Kopierens von Werten zurück/her Sie beeinflussen kann.

So oder so ich auch glaube, dass pool.map ist die beste, sicherste Methode des Multithreading-Code ...

Ich hoffe, das hilft.