Sparse Matrix Slicing Speicherfehler

Question

Ich habe eine Sparse Matrix csr:

<681881x58216 sparse matrix of type '<class 'numpy.int64'>' 
    with 2867209 stored elements in Compressed Sparse Row format> 

und ich möchte eine neue sparce Matrix als eine Scheibe csr erstellen: csr_2 = csr[1::2,:].

Problem: Wenn ich nur csr Matrix habe, ist der RAM meines Servers mit 40 GB beschäftigt. Wenn ich die csr_2 = csr[1::2,:] starte, wird der RAM meines Servers komplett für 128GB gespeichert und es fällt mit "Speicherfehler".

Answer 1

sparse verwendet Matrixmultiplikation, um Zeilen wie diese auszuwählen. Ich habe die Details der extractor-Matrix in einer anderen SO-Frage ausgearbeitet, aber grob um eine (p, n) -Matrix von einer (m, n) -Matrix zu erhalten, muss sie eine (p, m) -Matrix verwenden (mit Nicht-Null-Werten)).

Die Matrixmultiplikation selbst ist ein 2-Pass-Prozess. Der erste Durchgang bestimmt die Größe der resultierenden Matrix.

Im Gegensatz zu dichten numpy-Arrays gibt das Sharse-Matrix-Slicing niemals eine Ansicht zurück.

Sparse matrix slicing using list of int

hat Details über die Extraktionsmatrix. Ich schlage auch vor, csr.sum(axis=1) zu testen, da auch das Matrixmultiplikation verwendet.

---

def extractor(indices, N): 
    indptr=np.arange(len(indices)+1) 
    data=np.ones(len(indices)) 
    shape=(len(indices),N) 
    return sparse.csr_matrix((data,indices,indptr), shape=shape) 

So erfordert jede zweite Zeile der Indizierung:

in Ihrem Beispiel

In [99]: M = sparse.random(100,80,.1, 'csr') 
In [100]: M 
Out[100]: 
<100x80 sparse matrix of type '<class 'numpy.float64'>' 
    with 800 stored elements in Compressed Sparse Row format> 
In [101]: E = extractor(np.r_[1:100:2],100) 
In [102]: E 
Out[102]: 
<50x100 sparse matrix of type '<class 'numpy.float64'>' 
    with 50 stored elements in Compressed Sparse Row format> 
In [103]: M1 = E*M 
In [104]: M1 
Out[104]: 
<50x80 sparse matrix of type '<class 'numpy.float64'>' 
    with 407 stored elements in Compressed Sparse Row format>