Vergleichen genetische Programmierung Leistung

Question

Ich habe 30 * 7 Läufe eines genetischen Programms auf einem Datensatz, 30 Läufe von 7 verschiedenen Parametereinstellungen ausgeführt, jetzt möchte ich die Ergebnisse vergleichen. Jedes Programm lief für 200 Generationen Ich habe Daten aus jeder Generation gesammelt, aber was ich vergleichen möchte, war die beste Testfitness der 30 Läufe mit allen anderen 30 Läufen aus jeder Einstellung, um zu prüfen, ob es einen Unterschied zwischen den beiden gibt Ergebnisse der verschiedenen Parameter. Aufgrund der Natur der Sache ist die Verteilung nicht normal, also habe ich daran gedacht, einen Kruskal Wallis-Test an den 7 Datenspalten durchzuführen (jede Spalte mit 30 Proben).

Was denkst du?

Dank Jorge

Answer 1

Wie definieren Sie die Leistung? Angenommen, Sie auf eine optimale Konvergenz bedeuten (oder zumindest zu einem lokalen Extrem), können Sie vergleichen wollen:

1. Optima in jedem Lauf erreicht
2. Die Rate, mit der sie erreicht (durchschnittlich Schritten oder etwas ähnlich).

Für den 2. Punkt, den Sie auch in einer Kurve (zB Linie) passen mögen und versuchen, einen _i Parameter in y _i = a _i x + b _i

vergleichen

Wenn Sie nur auf die statistische Seite schauen, können Sie auch Wilcoxon rank test verwenden, da Sie die Läufe in Paaren gruppieren können.

Und übrigens, da jeder Lauf mit einer gegebenen Reihe von Parametern (zumindest theoretisch) Ihnen leicht unterschiedliche Ergebnisse geben kann (aufgrund der zufälligen Natur der genetischen Programmierung), möchten Sie vielleicht ein paar Läufe haben für jeden Parametersatz, den Sie einstellen möchten, um einen (falschen?) glücklichen Einfluss der Zufälligkeit zu eliminieren.