Meine Frage klingt vielleicht albern, aber es stört mich für eine lange Zeit.Führt Master-Knoten tatsächliche Aufgaben in Spark aus?
das Bild die Komponenten eines verteilten Anwendungsfunken oben gezeigt. Ich denke, dieses Bild zeigt an, dass der Master-Knoten nie tatsächliche Aufgaben ausführen wird, aber nur als Cluster-Manager dient. Ist es wahr?
Übrigens bezieht sich die tasks hier auf die vom Benutzer übermittelten Aufgaben.
Ja, der Master-Knoten führt den Treiberprozess aus und führt keine Tasks aus. Aufgaben werden in Executor-Prozessen auf den Worker-Knoten ausgeführt. Der Master-Knoten wird selten vom Standpunkt der CPU aus belastet, aber abhängig davon, wie Broadcast-Variablen, Akkumulatoren und collect verwendet werden, kann es in Bezug auf die RAM-Nutzung ziemlich gestresst sein.
Der Fahrer bereitet den Kontext und erklärt die Operationen an den Daten mit RDD Transformationen und Aktionen:
Um ein bisschen mehr über die verschiedenen Rollen zu erklären.
Der Treiber sendet das serialisierte RDD-Diagramm an den Master. Der Master erstellt Aufgaben daraus und übergibt sie den Arbeitern zur Ausführung. Es koordiniert die verschiedenen Arbeitsphasen.
Die Arbeiter sind, wo die Aufgaben tatsächlich ausgeführt werden. Sie sollten über die erforderlichen Ressourcen und Netzwerkkonnektivität verfügen, um die auf den RDDs angeforderten Vorgänge ausführen zu können.
Ja, es ist wahr. Eigentlich ist dieses Bild nicht sehr gut. Es ist besser, darüber nachzudenken, wie hier gezeigt: https://spark.apache.org/docs/latest/img/cluster-overview.png – zero323
In diesem Fall, sollen wir eine bessere Konfigurationsmaschine als Master verwenden? – chenzhongpu
Im Allgemeinen ja. Details hängen vom Cluster-Manager und der Umgebung ab, aber normalerweise möchten Sie, dass sie mindestens repliziert werden. – zero323