wo genau PIG seine Beziehungen speichert

Question

Ich bin in einer großen Verwirrung mit den folgenden zwei Aussagen. 1) Wo genau LOAD-Anweisung speichert diese Beziehung (Student), ist es auf hdfs/PIG internen Speicher/lokale Maschine?

example : student = LOAD 'HDFS:/student' using PigStorage(','); 

2) wenn ich versuche, Student zu entleeren; dann dauert es fast 30-40 Sekunden, um das Ergebnis anzuzeigen, wo die LOAD-Anweisung 1-2 Sekunden dauert .... wenn wir versuchen, Daten aus dem internen Speicher des Schweins abzurufen, warum ist dann diese Verzögerung?

wäre dankbar, wenn jemand diese Zweifel klären kann (vorzugsweise der Ablauf der Ausführung). danke in adv.

mein env: Ich benutze VM für Lernzwecke.

Answer 1

Die LOAD die Daten nicht speichern, aber es ist nur ein Zeiger auf die Datei. Wenn LOAD Anweisung ausgeführt wird, wird keine MapReduce Aufgabe ausgeführt.

Es ist nur nach der DUMP oder STORE Anweisung, dass ein MapReduce Job initiiert wird. Wir sehen unsere Daten in der Ausgabe und wir können bestätigen, dass die Daten erfolgreich geladen wurden.

DUMP einige Zeit dauern, da es mehrere Abfrage-Ausführung und und verlangsamt die Ausführung deaktiviert. (Wenn Sie für Debugging-Zwecke DUMP Anweisungen in Ihre Skripte eingefügt haben, sollten Sie sie entfernen.)

Wenn Sie Daten speichern möchten, können Sie den Befehl STORE verwenden.