Ich habe ein einfaches lineares Regressionsmodell erstellt, um S & P 500 Schlusskurse vorherzusagen. berechnete dann den mittleren absoluten Fehler (MAE) und bekam einen MAE-Wert von 1290. Nun möchte ich nicht wissen, ob das richtig oder falsch ist, aber ich möchte wissen, was MAE von 1290 mir über mein Modell erzählt.Was sagt mir der MAE?
Um ehrlich zu sein "im Allgemeinen" sagt es Ihnen fast nichts. Der Wert ist ziemlich willkürlich, und nur wenn Sie genau Ihre Daten verstehen, können Sie irgendwelche Schlüsse ziehen.
MAE steht für Mean Absolute Error. Wenn Sie also 1290 verwenden, bedeutet das, dass wenn Sie zufällig einen Datenpunkt aus Ihren Daten auswählen, Ihre Vorhersage 1290 vom wahren Wert entfernt ist. Ist es gut? Schlecht? Abhängig von der Größe Ihrer Ausgabe. Wenn es in Millionen ist, dann ist der Fehler so groß nichts, und das Modell ist gut. Wenn Ihre Ausgabewerte im Bereich von Tausenden liegen, ist das schrecklich.
Wenn ich richtig verstehe S & P 500 Schlusskurse sind Zahlen zwischen 0 und 2500 (für die letzten 36 Jahre), so Fehler von 1290 sieht aus wie Ihr Modell nichts gelernt. Das ist fast wie ein konstantes Modell, das immer "1200" oder etwas um diesen Wert herum beantwortet.
Könnten wir MAE verwenden, um uns die Wahrscheinlichkeit zu sagen, dass wir eine falsche Antwort erhalten? Wenn zum Beispiel meine Skala -1, 0 und 1 ist und ein Klassifikator eine MAE von 0,2 hat, könnte ich sagen, dass eine Probe von 20 vorhergesagten Ergebnissen 4 falsch wäre? – duldi
Nein, MAE hat nichts mit Wahrscheinlichkeit zu tun, es ist eine Regressionsmetrik und sollte als solche für Regressionsaufgaben verwendet werden. Zur Klassifizierung (Problem, bei dem "richtige Antwort" sinnvoll ist) verwenden Sie Klassifikationsmetriken (wie Genauigkeit, die Wahrscheinlichkeit, nach der Sie fragen) – lejlot