Entscheidung Bäume/Stümpfe mit Adaboost

Question

Ich habe gerade angefangen, über Entscheidungsbäume mit Adaboost zu lernen und probiere es auf OpenCV aus und habe einige Fragen.

Boosted Decision Trees

Ich verstehe, dass wenn ich AdaBoost mit Decision Trees, ich kontinuierlich fit Decision Trees zu Neugewichtung Version der Trainingsdaten. Die Klassifizierung erfolgt nach einer gewichteten Mehrheit.

Kann ich Bootstrapping beim Training von Entscheidungsbäumen mit Adaboost verwenden? das heißt, wir wählen Teilmengen unseres Datensatzes aus und trainieren einen Baum auf jeder Teilmenge, bevor wir die Klassifizierer in Adaboost einspeisen. Stumps

Boosted Entscheidung

Habe ich die gleiche Technik verwenden für die Entscheidung Stumps? Oder kann ich stattdessen Stümpfe erstellen, die der Anzahl der Features entsprechen? I.e. Wenn ich 2 Klassen mit 10 Funktionen habe, erstelle ich für jede Funktion insgesamt 10 Entscheidungsstümpfe, bevor ich die Klassifikatoren in Adaboost füttere.

Answer 1

AdaBoost trainiert nicht nur den Klassifikator auf verschiedenen Teilmengen, sondern passt auch die Gewichte der Datensatzelemente abhängig von der erreichten Assemblierungsleistung an. Die detaillierte Beschreibung finden Sie unter here.

Ja, Sie können die gleiche Technik verwenden, um Entscheidungsstümpfe zu trainieren. Der Algorithmus ist ungefähr der folgende:

1. Trainieren Sie den Entscheidungsstumpf auf dem ersten Datensatz ohne Gewichte (das gleiche wie jedes Element mit Gewicht = 1).
2. Aktualisieren Sie die Gewichtungen aller Elemente mit der Formel aus dem AdaBoost-Algorithmus. Gewichte von korrekt klassifizierten Elementen sollten weniger werden, Gewichte von falsch klassifiziert - größer.
3. Trainieren Sie den Entscheidungsstumpf mit den aktuellen Gewichten. Das heißt, minimieren Sie nicht nur die Anzahl der Fehler, die durch diesen Entscheidungsstumpf gemacht werden, sondern die Summe der Gewichte der Fehler.
4. Wenn die gewünschte Qualität nicht erreicht wurde, gehen Sie zu Punkt. 2.