Verwenden Sie die Liste der CSR_Matrix zu trainieren SGDClassifier

Question

Ich habe eine Liste X_train (> 20000 Elemente) mit jedem Element eine spärliche scipy csr_matrix erstellt von HashingVectorizer.transform().

Meine HashingVectorizer.transform() führt Zeile für Zeile Umwandlung der Eingabedatei und hängt es an die Liste X_train.

Ich versuche, eine SGDClassifier mit X_train zu trainieren, aber ich habe den Fehler:

ValueError: setting an array element with a sequence.

Wie kann ich den SGDClassifier ohne eine CPU oder speicherintensive Operation trainieren?

Answer 1

Eine Liste der dünn besetzte Matrizen, und Wege, die in ein Array oder spärliche Matrix (oder nicht) Drehen:

In [916]: alist=[sparse.random(1,10,.2, format='csr') for _ in range(3)] 
In [917]: alist 
Out[917]: 
[<1x10 sparse matrix of type '<class 'numpy.float64'>' 
    with 2 stored elements in Compressed Sparse Row format>, 
<1x10 sparse matrix of type '<class 'numpy.float64'>' 
    with 2 stored elements in Compressed Sparse Row format>, 
<1x10 sparse matrix of type '<class 'numpy.float64'>' 
    with 2 stored elements in Compressed Sparse Row format>] 

machen eine richtige Sparse-Matrix (2d):

In [918]: sparse.vstack(alist) 
Out[918]: 
<3x10 sparse matrix of type '<class 'numpy.float64'>' 
    with 6 stored elements in Compressed Sparse Row format> 

Objekt Array von Matrizen - schlecht

In [919]: np.array(alist) 
Out[919]: 
array([ <1x10 sparse matrix of type '<class 'numpy.float64'>' 
    with 2 stored elements in Compressed Sparse Row format>, 
     <1x10 sparse matrix of type '<class 'numpy.float64'>' 
    with 2 stored elements in Compressed Sparse Row format>, 
     <1x10 sparse matrix of type '<class 'numpy.float64'>' 
    with 2 stored elements in Compressed Sparse Row format>], dtype=object) 

der Versuch, ein float-Array zu machen - Ihr Fehler

In [920]: np.array(alist, float) 
--------------------------------------------------------------------------- 
ValueError        Traceback (most recent call last) 
<ipython-input-920-52d4689fa7b3> in <module>() 
----> 1 np.array(alist, float) 

ValueError: setting an array element with a sequence.