Gradient Boosting auf Vowpal Wabbit

Question

Gibt es eine Möglichkeit, Gradientenverstärkung bei der Regression mit Vowpal Wabbit zu verwenden? Ich benutze verschiedene Techniken, die mit Vowpal Wabbit kommen, die hilfreich sind. Ich möchte gradientenverstärkend ausprobieren, aber ich finde keine Möglichkeit, Gradientenverstärkung bei VW zu implementieren.

Answer 1

Die Idee von gradient boosting ist, dass ein Ensemble-Modell aus Black-Box-schwachen Modellen gebaut wird. Sie können sicherlich VW als Blackbox verwenden, aber beachten Sie, dass VW keine Entscheidungsbäume anbietet, die die beliebteste Wahl für die Blackbox-schwachen Modelle beim Boosten sind. Boosting im Allgemeinen verringert die Verzerrung (und erhöht die Varianz), so dass Sie sicherstellen sollten, dass die VW-Modelle eine geringe Varianz haben (keine Überanpassung). Siehe bias-variance tradeoff.

Es gibt einige Kürzungen in Bezug auf die Förderung und Absacken in VW:

• --autolink N fügt eine Link-Funktion mit Polynom N, die eine einfache Art und Weise der Förderung berücksichtigt werden können.
• ist ein Online-Boosting-Algorithmus für die K-Klassen-Klassifizierung. Siehe the paper. Sie können es sogar für die binäre Klassifizierung (K = 2) verwenden, aber nicht für die Regression.
• --bootstrap M M-Way-Bootstrap durch Online-Wichtigkeit Resampling. Verwenden Sie --bs_type=vote für die Klassifizierung und --bs_type=mean für die Regression. Beachten Sie, dass dies bagging ist, nicht zu boosten.
• --boosting N (hinzugefügt am 2015.06.17) online mit N schwachen Lernenden steigern, siehe a theoretic paper