Ist es in Ordnung, ein SVM-Modell mit nur einer Funktion zu trainieren?

Question

Ich bin neu im maschinellen Lernen. Ich machte Feature-Auswahl auf einer Reihe von Funktionen und einige Algorithmen gaben mir eine Rangliste aller Funktionen. Dann habe ich versucht, nur das Top-Feature zu verwenden, um das Modell zu trainieren, und die Leistung der Kreuzvalidierung erwies sich als ziemlich gut. Aber ich bin besorgt, wenn es angemessen ist, nur ein Merkmal zu verwenden, um ein SVM-Modell zu trainieren. (Ich verwende einen RBF-Kernel.) Danke.

Answer 1

Ja, es ist in Ordnung. Grundsätzlich gilt, je weniger Funktionen Sie verwenden, desto besser. Die Anzahl der Merkmale muss viel geringer sein als die Anzahl der Trainingsvektoren. Mindestens 100 mal weniger.

Aber wenn Sie in Ihrem Fall sehr großen C-Wert und sehr kleinen G-Wert haben (d. H. Wahrscheinlich haben Sie ein sehr Übermodell), müssen Sie möglicherweise weitere Funktionen hinzufügen.

Sie über Jaakkola der Heuristik für G Schätzung nicht vergessen: http://image.diku.dk/shark/sphinx_pages/build/html/rest_sources/tutorials/algorithms/svmModelSelection.html#jaakkola-s-heuristic

Und sicher verwenden Kreuzvalidierung und Hold-out-Validierung Überanpassung zu vermeiden.

Ich empfehle das folgende Buch: Max Kuhn • Kjell Johnson, angewandte prädiktive Modellierung. ISBN 978-1-4614-6848-6 ISBN 978-1-4614-6849-3 (E-Book) DOI 10.1007/978-1-4614-6849-3 Springer New York Heidelberg Dordrecht London

Mit freundlichen Grüßen , Nick.