Qualität einer Schätzfunktion

Question

Ich versuche einen Weg zu finden, die Qualität einer Schätzfunktion zu bestimmen.

Ich habe ein Wörterbuch, das int-Werte enthält.

Die Summe "Summe" dieses Wörterbuchs ist Dictionary Key * Value.

public int RealValue 
{ 
    get 
    { 
     return Items.Sum(x => x.Key * x.Value); 
    } 
} 

Die geschätzte Summe des Wörterbuchs wird mithilfe von Fenstern und Gewichten berechnet.

public int EstimatedValue 
    { 
     get 
     { 
      return Items.Where(x => x.Key < window1).Sum(x => weight1 * x.Value) + 
       (Items.Where(x => x.Key >= window1 && x.Key < window2).Sum(x => weight2 * x.Value)) + 
       Items.Where(x => x.Key >= window2 && x.Key < window3).Sum(x => weight3 * x.Value); 
     } 
    } 

Jetzt möchte ich eine Bewertung zu dieser Schätzfunktion assing, das heißt, um die Qualität der gewählten Fenster und Gewichte.

Die Schätzungsfunktion ist gut, wenn sie erfolgreich bestimmen kann, welches von zwei Wörterbüchern den größeren Wert enthält. Es spielt keine Rolle, wie nahe die Schätzung der tatsächlichen Zählung ist. Natürlich sollte die Schätzungsfunktion mit jedem beliebigen Paar von Wörterbüchern funktionieren, die Kandidaten für Tests sind.

Was wäre ein guter Ansatz, um das oben genannte Problem zu lösen?

Answer 1

Es scheint, dass Sie am Ende das Ranking-Problem betrachten, wie Sie jedes Objekt eine bestimmte Reihenfolge im Vergleich zu den übrigen ("welcher ist größer?") Zuweisen und nicht über den tatsächlichen Wert , so gibt es eine ganze Forschung in Bezug auf Ranking-Bewertung und im Allgemeinen lernen, Rang. Es gibt viele verlässliche Metriken hier, von den einfachsten - Testen der Anzahl der korrekten paarweisen Vergleiche (wie oft Ihr Modell eine gute Anordnung von zwei Objekten im Vergleich zu allen verglichenen gibt) zu mehr statistischen Maßen wie Kendall Tank Korrelationskoeffizienten.