Macht es Sinn, bei der Ausreißererkennung zufällig hochdimensionale Daten in niederdimensionale Daten zu projizieren?

Question

Ich habe einige hochdimensionale Daten, aus denen ich Ausreißer erkennen möchte. Ich weiß, dass, wenn ich mit niedrigdimensionalen Daten arbeite, ich clustering und dann überprüfen kann, ob ein Datenpunkt zu einem Cluster gehört, oder die durchschnittliche Entfernung von ihm zu seinen nächsten Nachbarn usw. berechnen kann. Aber das kann ich nicht diese auf hochdimensionalen Daten wegen des Fluches der Dimensionen.

Also ich denke, vielleicht kann ich nach dem Zufallsprinzip die hochdimensionalen Daten zu niedriger dimensionalen projizieren, und überprüfen, ob die Projektionen eines Datenpunktes Ausreißer in den meisten der transformierten Daten sind. Meine Annahme ist, dass ein Ausreißer in der höheren Dimension auch in den meisten Projektionen in die untere Dimension als Ausreißer erscheinen sollte.

Zum Beispiel erzeugt zufällig einige Vorsprünge von (nehmen wir an, den Fluch der Dimensionen in haben) zu (wo wir mit herkömmlichen Methoden Cluster können), bezeichnet durch (alle von ihnen sind Matrizen mit Zufallselementen) . Angenommen, wir möchten Ausreißer in erkennen. Wenn für viele , ist ein Ausreißer in , als ist ein Ausreißer.

Macht es Sinn?

Answer 1

Die typische Methode zur Erkennung von Anomalien wäre die Reduzierung der Dimensionalität mit principle component analysis. Die Idee ähnelt der Beschreibung, die Sie beschreiben, aber sie verwendet lineare Algebra, um eine kluge Wahl der exakten Art der Projektion zu treffen. Dadurch wird sichergestellt, dass bei der Projektion nur minimale Informationen verloren gehen.