Hohe Leistung Array-Mittelwert

Question

Ich habe einen Performance-Engpass. Ich berechne den spaltenweisen Mittelwert von großen Arrays (250 Zeilen & 1,3 Millionen Spalten), und ich mache das mehr als eine Million Mal in meiner Anwendung.

Mein Testfall in Python:

import numpy as np 
big_array = np.random.random((250, 1300000)) 
%timeit mean = big_array.mean(axis = 0) # ~400 milliseconds 

Numpy dauert etwa 400 Millisekunden auf meinem Rechner, auf einem einzigen Kern läuft. Ich habe mehrere andere Matrixbibliotheken in verschiedenen Sprachen (Cython, R, Julia, Torch) ausprobiert, aber nur Julia gefunden, um Numpy zu schlagen, indem ich ungefähr 250 Millisekunden nahm.

Kann jemand bei dieser Aufgabe deutliche Leistungsverbesserungen nachweisen? Vielleicht ist das eine Aufgabe, die für die GPU geeignet ist?

Bearbeiten: Meine Anwendung ist offensichtlich Speicher beschränkt, und die Leistung wird drastisch verbessert durch den Zugriff auf Elemente eines großen Arrays nur einmal statt wiederholt. (Siehe Kommentar unten.)

Answer 1

Julia, wenn ich mich nicht irre, verwendet Fortran Bestellung im Speicher im Gegensatz zu Numpy, die C-Speicher-Layout standardmäßig verwendet. Also, wenn Sie die Dinge neu ordnen zu dem gleichen Layout haften, so dass die mittlere entlang zusammenhängenden Speicher geschieht, erhalten Sie eine bessere Leistung:

In [1]: import numpy as np 

In [2]: big_array = np.random.random((250, 1300000)) 

In [4]: big_array_f = np.asfortranarray(big_array) 

In [5]: %timeit mean = big_array.mean(axis = 0) 
1 loop, best of 3: 319 ms per loop 

In [6]: %timeit mean = big_array_f.mean(axis = 0) 
1 loop, best of 3: 205 ms per loop 

Oder Sie können einfach Dimensionen ändern und die Mittel über die andere Achse nehmen:

In [10]: big_array = np.random.random((1300000, 250)) 

In [11]: %timeit mean = big_array.mean(axis = 1) 
1 loop, best of 3: 205 ms per loop