Dataproc Knoten-Setup

Question

Ich verstehe Google Dataproc-Cluster sind ausgestattet, um Initialisierungsaktionen zu behandeln - die bei der Erstellung von jedem Knoten ausgeführt werden. Dies ist jedoch nur für kleine Aktionen sinnvoll und würde nicht gut für die Erstellung von Knoten mit vielen Abhängigkeiten und Software für große Pipelines geeignet sein. Daher frage ich mich - gibt es sowieso, Knoten als benutzerdefinierte Bilder zu laden oder ein Bild hochzufahren, sobald der Knoten erstellt wurde, der alle Installationen darauf hat, so dass Sie die Dinge nicht immer wieder herunterladen müssen.

Answer 1

Gute Frage.

Wie Sie bemerken, initialization actions sind derzeit die kanonische Art, Sachen auf Clustern zu installieren, wenn sie erstellt werden. Wenn Sie eine Menge Abhängigkeiten haben oder Dinge von der Quelle aus kompilieren müssen, können diese Initialisierungsaktionen etwas dauern.

Wir haben Unterstützung für eine bessere Methode zur Anpassung an unsere langfristige Roadmap. Dies kann über benutzerdefinierte Bilder oder einen anderen Mechanismus geschehen.

In der Zwischenzeit kann das Skalieren von Clustern nach oben/unten eine Erleichterung bieten, wenn Sie einige der Anpassungen beibehalten und den Unterschied zwischen der Startzeit und der Persistenz Ihres Clusters aufteilen möchten. Ebenso, wenn es vorkompilierte Pakete gibt, sparen diese immer Zeit.