In NumPy werden größere Arrays schneller erstellt?

Question

Ist das ein Cache-Ding, wie Timeit es vorschlägt?

In [55]: timeit a = zeros((10000, 400)) 
100 loops, best of 3: 3.11 ms per loop 

In [56]: timeit a = zeros((10000, 500)) 
The slowest run took 13.43 times longer than the fastest. This could mean that an intermediate result is being cached. 
100000 loops, best of 3: 3.43 µs per loop 

versucht, es zu täuschen, aber es hat nicht funktioniert:

In [58]: timeit a = zeros((10000, 500+random.randint(100))) 
The slowest run took 13.31 times longer than the fastest. This could mean that an intermediate result is being cached. 
100000 loops, best of 3: 4.35 µs per loop 

Answer 1

Der Grund Caching ist nicht, aber das numpy erzeugt nur einen Platzhalter anstelle des vollständigen Arrays. Dies kann leicht durch die Überwachung Ihrer RAM-Nutzung überprüft werden, wenn Sie so etwas tun:

a = np.zeros((20000, 20000), np.float64) 

Dies gilt zuteilen nicht 20k * 20k * 8Byte ~ 3GB auf meinem Computer (aber möglicherweise OS-abhängig, da np.zeros verwendet die C-Funktion calloc). Aber seien Sie vorsichtig, weil die meisten Operationen auf diesem Array (zum Beispiel a += 5) diesen Speicher sofort zuweisen! Stellen Sie sicher, dass Sie eine angemessene Größe im Vergleich zu Ihrem RAM verwenden, so dass Sie bemerken, dass der RAM zunimmt, ohne ihn zu überlasten.

Am Ende verschiebt dies nur die Zuweisung des Arrays, sobald Sie damit arbeiten, sollte das kombinierte Timing von Zuweisung und Betrieb wie erwartet sein (linear mit der Anzahl der Elemente). Es scheint, Sie IPython verwenden, so dass Sie eine Block-timeit %%timeit verwenden:

%%timeit 
a = np.zeros((10000, 400)) 
a += 10 
# => 10 loops, best of 3: 30.3 ms per loop 

%%timeit 
a = np.zeros((10000, 800)) 
a += 10 
# => 10 loops, best of 3: 60.2 ms per loop