So erstellen Sie eine riesige spärliche Matrix in scipy

Question

Ich versuche, eine sehr große spärliche Matrix zu erstellen, die eine Form (447957347, 5027974) hat. Und es enthält 3.289.288.566 Elemente.

Aber, wenn ich eine csr_matrixscipy.sparse verwenden, ist es so etwas wie dies zurück:

<447957346x5027974 sparse matrix of type '<type 'numpy.uint32'>' 
    with -1005678730 stored elements in Compressed Sparse Row format> 

Der Quellcode Matrix für die Erstellung ist:

indptr = np.array(a, dtype=np.uint32) # a is a python array('L') contain row index information 
indices = np.array(b, dtype=np.uint32) # b is a python array('L') contain column index information 
data = np.ones((len(indices),), dtype=np.uint32) 
test = csr_matrix((data,indices,indptr), shape=(len(indptr)-1, 5027974), dtype=np.uint32) 

Und fand ich auch, wenn ich konvertieren ein 3 Milliarden langes Python-Array zu einem numpy-Array führt zu einem Fehler:

ValueError:setting an array element with a sequence 

Wenn ich jedoch drei Python-Arrays mit einer Länge von 1 Milliarde erstellen und diese in ein numpy-Array umwandeln, dann hänge sie an. Es funktioniert gut.

Ich bin verwirrt.

Answer 1

Sie verwenden eine ältere Version von SciPy. In der ursprünglichen Implementierung von dünn besetzten Matrizen wurden Indizes in einer int32 Variablen gespeichert, sogar auf 64-Bit-Systemen. Selbst wenn Sie sie so definieren, dass sie uint32 sind, wie Sie, werden sie gecastet. Wenn also Ihre Matrix mehr als 2^31 - 1 Einträge ungleich Null enthält, wie es in Ihrem Fall der Fall ist, kommt es zu einem Überlauf der Indizierung und viele schlimme Dinge passieren. Beachten Sie, dass die seltsame negative Anzahl von Elementen in Ihrem Fall erklärt sich durch:

>>> np.int32(np.int64(3289288566)) 
-1005678730 

Die gute Nachricht ist, dass dies bereits herausgefunden worden. Ich denke, ist die relevante PR, obwohl es einige weitere Korrekturen nach diesem gab. In jedem Fall, wenn Sie die latest release candidate für SciPy 0.14 verwenden, sollte Ihr Problem verschwunden sein.