hochdimensionale Ausreißererkennung mit Python

Question

Kann mir bitte jemand auf eine robuste Python-Implementierung von Algorithmen wie Robust-PCA oder Angle Based Outlier Detection (ABOD) hinweisen? Ich habe einige Python-Implementierungen von Robust-PCA ausprobiert, aber sie haben sich als sehr speicherintensiv erwiesen und das Programm ist abgestürzt. Mein Datensatz ist 60.000 X 900 Floats. R hat eine Implementierung von ABOD, aber ich möchte bei Python bleiben.

Answer 1

Die Erkennung von Ausreißern ist sehr wichtig, es gibt eine Vielzahl von Forschungspublikationen, die damit zu tun haben. Die Skalierbarkeit des dichtebasierten Algorithmus ist nicht wirklich performant. Ich habe PCA für die Verringerung der Dimension und die lokale Ausreißer-Faktor-Methode verwendet.

Sie eine gut umgesetzt Version für massive Daten finden: https://github.com/damjankuznar/pylof/blob/master/lof.py

HTH