Kombinieren von Merkmalssätzen, die aus mehreren Modellen extrahiert wurden

Question

Ich habe Merkmale aus einer großen Menge von Trainings- und Testbildern mit Sklearn und Caffe extrahiert. Um die Merkmalsextraktion durchzuführen, verwendete ich 3 verschiedene vortrainierte Convnets von Caffe Model Zoo.

Mit jedem der 3 Sätze von Funktionen kann ich eine SVM trainieren, die etwa 80% genau auf die Testdaten ist. Aber was ist der beste Weg, die Kraft aller 3 Funktionen zu nutzen?

Ich habe versucht, einfach die Ergebnisse von 3 getrennten SVMs zusammen zu berechnen (Mittelung der Wahrscheinlichkeitsvorhersagen für jede Markierung), aber es ergab keine Verbesserung gegenüber einzelnen Modellen.

Wäre es hilfreich, die Feature-Sets zu einem großen Set zusammenzufügen und das zum Trainieren einer SVM (oder einer anderen) zu verwenden?

Beachten Sie, dass der Datensatz Multiclass Multilabel ist. Vielen Dank.

Answer 1

Dies ist keine gute Möglichkeit, Funktionen zu kombinieren. Im maschinellen Lernen verwenden wir Ensemble-Techniken. Ensemble-Techniken: Bagging, Boosting, Stacking und Hierarchie. Aus meiner Erfahrung arbeite ich gerne mit Boosting oder Stacking. Boosting ist eine gierige Lernstrategie, bei der sowohl die Verteilung der Daten als auch die verwendete Funktion geändert wird, um jeden Basislernenden so zu trainieren, dass sich der kommende Basislerner auf schwierige Stichproben konzentrieren kann. Lesen Sie über Viola Jones Adaboost Classifier. Wenn Sie ein schweres Datenungleichgewicht haben, lesen Sie den SMOTEBoost-Algorithmus