Warum Schwein heißt Batch-Verarbeitung

Question

Ist Schwein eine Batch-Verarbeitung? Wenn ja, lassen Sie mich bitte wissen, warum es eine Stapelverarbeitung genannt wird. ist es Batch-Verarbeitung, weil es eine Karte zu reduzieren führt.

Answer 1

In der Datenverarbeitung können wir jeden Datensatz einzeln verarbeiten (ein mit Zeitstempel versehener Datensatz heißt event) oder mit einer Sammlung von Datensätzen umgehen, die einen Batch aufrufen.

Pig führt die Stapelverarbeitung durch, da Eingangsdatensätze nicht nacheinander verarbeitet werden. In der Tat lädt Pig alle verfügbaren Datensätze im Eingabepfad als einen Stapel.

Map Reduce ist ein Datenverarbeitungsrahmen, der für die Stapelverarbeitung entwickelt wurde, mapreduce bedeutet Stapelverarbeitung, Batchverarbeitung ist jedoch nicht mapreduce.