Bulk-Export-Ergebnisse von Prediction.io

Question

Wir verwenden Prediction.IO für unsere Empfehlung Engine.

Nach der Bereitstellung (pio deploy) können wir den Webdienst, den er nach der Bereitstellung erstellt hat, aufrufen, um bei Bedarf die Empfehlungsergebnisse jeweils einem Benutzer zu übermitteln. Wir können auch viele Anfragen in einem einzigen Anruf für viele Benutzer senden.

Da wir Milliarden von Ereignissen und 100 Millionen von Benutzereinheiten haben, ist die Verwendung des Webdienstes über den http-Port keine schnelle Möglichkeit, die Daten zu exportieren und sie beispielsweise in Hive zu analysieren.

Das Problem ist, wir konnten keine Möglichkeit finden, die Empfehlungen für alle Benutzer zu exportieren (sagen wir 10 Empfehlungen für jeden Benutzer).

Es gibt einen Befehl (Pio-Export), um alle Ereignisdaten zu exportieren, aber dies enthält nicht die Score-Werte oder die Empfehlungsergebnisse.

Haben Sie irgendwelche Gedanken darüber, wie Sie die Ergebnisse in großen Mengen exportieren können?

Answer 1

Nach einigen Untersuchungen gefunden this auf PredictionIO Website;

Dieses Lernprogramm erklärt, wie Sie $ pio eval auch verwenden können, um das vorhergesagte Ergebnis für einen Batch von Abfragen zu erhalten. Bitte lesen Sie die Auswertung, um die Verwendung von DataSoures readEval() und der Evaluierungskomponente zu verstehen.

Auch;

Dieses Lernprogramm basiert auf einigen experimentellen und Entwicklerfunktionen, die in zukünftigen Versionen geändert werden können.