Methode zum Kombinieren mehrerer SVM-Klassifizierer (oder "beliebiger ML-Klassifikator" mit scikit-learn. "Entscheidungs-Feature-Klassifikatoren"

Question

Ich extrahiere mehrere Feature-Vektoren von verschiedenen Sensoren, und ich trainierte diese Features mit SVM individuell. Meine Frage ist Es gibt eine Methode, diese Klassifikatoren zu kombinieren, um ein besseres Ergebnis zu erzielen. dank im voraus

Answer 1

Vor allem - die Idee des Trainings separater Modelle ist eher schlecht. Es sei denn, Sie haben sehr gute Gründe dafür (einige externe Einschränkungen, die Sie nicht ignorieren können, sollten Sie nicht tun. Warum? Weil Sie effizient Informationen verlieren, können Sie keine komplexen Abhängigkeiten zwischen Signalen von zwei Klassifizierern modellieren. Training alles gemeinsam gibt Statistik cal Methode Fähigkeit zu wählen, welche Daten verwenden, wenn, auf diese Weise kann es zum Beispiel modellieren - dass für einige bestimmte Arten von Daten wird es einen Teil der Eingabe und für einen anderen - den Rest verwenden. Wenn Sie unabhängige Klassifikatoren erstellen, beeinflussen Sie den gesamten Prozess, da diese Klassifikatoren "keine Ahnung" haben, dass die verbleibenden existieren.

Nachdem dies gesagt wurde, hier ist die Lösung unter der Annahme, dass Sie irgendwie nicht gemeinsames Modell lernen können. In einem solchen Szenario (wo Ihre Modelle eine Art Black-Box sind, die Ihre Eingabedarstellung in Entscheidungsfunktionen umwandelt) besteht die Grundidee darin, sie einfach als Präprozessoren zu behandeln und ein neues Modell darauf zu setzen, das ist alles. Mit anderen Worten, Sie haben Ihren Datenpunkt x in die Merkmalsvektoren x1, x2, ..., xk und k verschiedene Modelle mi aufgeteilt, die Sie zuvor erstellt haben, also verwenden Sie diese, um eine Vorverarbeitungsmethode zu erstellen f(x) = [m1(x1), m2(x2), ..., mk(xk)] und dies ist nur ein einzelner Punkt in R^k Raum, der jetzt in einen neuen Klassifikator eingepasst werden kann, um zu lernen, wie man diese Informationen kombiniert. Der problematische Teil ist, dass Sie aufgrund Ihres sehr spezifischen Prozesses jetzt neues Trainingssatz brauchen, um Kombinationsregeln zu lernen, da die Verwendung derselben Daten, die zum Konstruieren mi verwendet wurden, leicht zur Überanpassung führen kann. Um dagegen anzukämpfen, benutzen die Leute manchmal heuristische Ansätze - a priori, vorausgesetzt, dass diese Modelle bereits gut genug sind, und konstruieren ein Ensemble von diesen, die entweder für Klassen stimmen (zum Beispiel durch ihre Gewichtung gewichtet) oder das ganze System darum herum aufbauen. Ich würde immer noch argumentieren, dass Sie diesen Weg nicht von Anfang an gehen sollten, wenn Sie - mit dem Erlernen der Kombinationsregel mit der Verwendung neuer Daten und schließlich, wenn Sie nichts davon tun können - mit einer heuristischen Ensembletechnik abrechnen können .