Bewertungsmetriken für Empfehlungssysteme

Question

Ich entwickle eine kollaborative Filterempfehlungs-Engine und versuche zu messen, wie genau mein Modell und die Qualität der Empfehlungen sind. Ich teste meinen Algorithmus mit den folgenden Schritten.

1) Trainieren Sie das Modell mit 3 Monaten Daten (t)

2) ich Artikel für den nächsten Tag empfehlen (t1 = t + 1 Tag)

3) Berechnen Sie die Genauigkeit, Präzision und Recall von Validierungssatz

Als i-Validierung verwenden, um einen 30 Tage Zeit-Raum (t1 + 30 Tage) zu überprüfen, ob der Benutzer mit dem

Produkt interagieren ist dies der Weg, den ich jetzt mein Modell messen:

Genauigkeit: Wie oft ein Benutzer 1 Artikel von meiner Top-5-Empfehlung

für Präzision und Recall kaufen messe ich die 2-Metriken für jeden Benutzer und dann fand ich die mittlere Präzision und Recall aller meiner Benutzer:

Precision bei Top 5 Empfehlungen: Korrektes Empfehlungen/5

Recall bei Top 5 Empfehlungen: Richtige Empfehlungen/Bekannte Produkte, die der Benutzer Validierung in 30 Tagen kaufen

Ist die Art und Weise, dass ich das messen Rückruf korrekt?

Was bedeuten Recall in Empfehlungs-Engines?

Gibt es weitere Metriken, die ich verwenden kann?

Answer 1

Recall adopted für Empfehlungssysteme misst das Verhältnis von Produkten, die tatsächlich von Kunden gekauft wurden (Treffer) in Bezug auf ihre Anzahl von Produkten im Testset (| T |).

Diese Maßnahme wird zunächst für jeden Test Kunden berechnet und dann für alle Benutzer in dem Testsatz gemittelt. Mehr Informationen über die Grundidee finden sich in der Arbeit von Cremonesi et al. (2010) "Durchführung von Empfehlungsalgorithmen zu Top-n-Empfehlungsaufgaben" oder in einer frühen Veröffentlichung von Herlocker et al. (2004) "Evaluieren von kollaborativen Filterungsempfängersystemen"

Andere Metriken, die geeignet sein können, können beides berücksichtigen, Präzision und Abruf. ZB F1-Score das harmonische Mittel beiden Maßnahmen ist und durch

jedoch einige Studien haben berechnet werden gezeigt, dass Kunden an den Empfehlungslisten von oben nach unten sehen in der Regel, die oft nur die wenige wahrnehmen Produkte an der Spitze der Liste. Um diese auf Rangfolgen basierende Maßnahme zu überwinden, kann beispielsweise die mittlere Durchschnittspräzision (MAP) verwendet werden.