svmlight Warnung: Entspannende Epsilon auf KT-Bedingungen

Question

Ich versuche, ein Dataset mit Svmlight zu lernen. Ich sehe immer die folgende Warnung während des Optimierungsprozesses.

WARNING: Relaxing epsilon on KT-Conditions (0.010000). 
..................................................... 
WARNING: Relaxing epsilon on KT-Conditions (0.100000). 
..................................................... 
WARNING: Relaxing epsilon on KT-Conditions (1.000000). 
..................................................... 
WARNING: Relaxing epsilon on KT-Conditions (10.00000). 
.................................................... 

Ist es wichtig und was bedeutet es? Derzeit ist das Training nicht erfolgreich. Kann es mit dieser Warnung in Verbindung gebracht werden? Vielen Dank.

Answer 1

Die KT-Bedingungen sind Teil des Optimierungsproblems, das den Kern von SVM bildet. Ohne zu sehr auf die Theorie einzugehen, gibt es eine Reihe von Bedingungen, die, wenn Sie die optimale Lösung haben, wahr sind. Es dauert jedoch länger, genug Iterationen durchzugehen, um die KT-Bedingungen genau wahr zu machen, als sie nur innerhalb von Esperon (einer sehr kleinen Anzahl) wahr zu machen. Im Wesentlichen, anstatt zu sagen, dass A gleich B sein muss, sagen wir, dass A gleich B innerhalb von + oder - epsilon sein muss. Die Forschung hat festgestellt, dass dies in der Praxis genauso gut funktioniert wie die zusätzliche Zeit, um die Bedingungen genau richtig zu machen.

SVM Licht versucht zuerst mit einem sehr kleinen Epsilon, wenn es dieses Problem nicht lösen kann, ist es entspannendes Epsilon, indem es es vergrößert, um zu versuchen, eins zu finden, aber klar, wenn das Problem nicht lösbar ist, versucht es ein paar Vor der Entscheidung ist es nicht lösbar.

Also ich würde sagen, die Warnungen sind, weil Ihr Problem nicht lösbar ist, und nicht umgekehrt.