2017-02-22 16 views

Antwort

1

die InfoQ article on Jet Zitiert:

ein lauffähiges auf eine Partition gesendet ist analog zu dem Werk eines einzigen DAG Scheitel. Der Vorteil von Jet liegt in der Möglichkeit, dass der Vertex die gelesenen Daten transformiert und Elemente erzeugt, die nicht mehr zur selben Partition gehören, und sie dann beim Senden an den nachgelagerten Vertex neu mischen, so dass sie wieder korrekt partitioniert sind. Dies ist wesentlich für jede Art von Map-Reduce-Operation, bei der die reduzierende Einheit alle Datenelemente mit demselben Schlüssel beobachten muss. Um den Netzwerkverkehr zu minimieren, kann Jet zuerst die auf dem lokalen Mitglied erzeugte Datenschicht reduzieren und dann nur ein Element pro Schlüssel an das Remote-Mitglied senden, das die Teilergebnisse kombiniert.

Und beachten Sie, dass dies nur ein Vorteil im Zusammenhang mit den gleichen oder ähnlichen Anwendungsfällen ist, die derzeit von Entry Processors abgedeckt werden. Jet kann Daten aus jeder Quelle übernehmen und die Rechenressourcen des gesamten Clusters zur Verarbeitung nutzen.

+0

Irgendwelche Out-of-the-Box-Möglichkeiten, um nach Ereignissen zu suchen, sagen Sie über eine IMap oder Queue und Trigger-Berechnungen? – Manish

+0

Das Registrieren eines Ereignis-Listeners auf diesen Objekten, der einen Jet-Job auslöst, erscheint mir als ein vernünftiger Ansatz. –

Verwandte Themen