DBSCAN Fehler mit Cosinus-Metrik in Python

Question

Ich habe versucht, DBSCAN-Algorithmus von Scikit-lernen-Bibliothek mit Cosinus-Metrik verwenden, aber war mit dem Fehler stecken. Die Codezeile ist

db = DBSCAN(eps=1, min_samples=2, metric='cosine').fit(X)  

wo X a csr_matrix ist. Der Fehler ist der folgende:

Metric ‚Cosinus‘ nicht gültig für Algorithmus ‚auto‘,

obwohl die Dokumentation sagt, dass es möglich ist, diese Metrik zu verwenden. Ich habe versucht, Option algorithm='kd_tree' und 'ball_tree' zu verwenden, aber das gleiche erhalten. Jedoch gibt es keinen Fehler, wenn ich euclidean oder, sagen wir, l1 Metrik verwende.

Die Matrix X ist groß, daher kann ich keine vorberechnete Matrix paarweiser Abstände verwenden.

Ich verwende python 2.7.6 und scikit-learn 0.16.1. Mein Datensatz enthält keine vollständige Reihe von Nullen, daher ist die Kosinusmetrik gut definiert.

Answer 1

Die Indizes in sklearn (wahrscheinlich - dies kann sich mit neuen Versionen ändern) können Cosinus nicht beschleunigen.

Versuchen Sie algorithm='brute'.

Eine Liste von Metriken, die Ihre Version von sklearn beschleunigen kann, die unterstützten Metriken des Kugelbaum sehen:

from sklearn.neighbors.ball_tree import BallTree 
print(BallTree.valid_metrics) 

Answer 2

Wenn Sie einen normalisierten Abstand wie der Cosinus Abstand möchten, können Sie auch Ihre Vektoren normalisieren zuerst und dann die euklidische Metrik verwenden. Beachten Sie, dass für zwei normalisierten Vektoren u und v die euklidische Distanz gleich sqrt (2-2 * cos (u, v)) (see this discussion)

Sie können daher so etwas wie:

Xnorm = np.linalg.norm(X,axis = 1) 
Xnormed = np.divide(X,Xnorm.reshape(Xnorm.shape[0],1)) 
db = DBSCAN(eps=0.5, min_samples=2, metric='euclidean').fit(Xnormed) 

Die Entfernungen liegen in [0,2], also stellen Sie sicher, dass Sie Ihre Parameter entsprechend anpassen.