In einer Spark-Streaming-Anwendung, wo wird mapWithState ausgeführt?

Question

In einer Spark-Streaming-Anwendung, wo wird mapWithState ausgeführt? Ist es auf einem Treiber oder einem Executor?

Answer 1

mapWithState wird auf jedem der Executoren ausgeführt. Es ist eine Shuffle-Phase, bei der die Schlüssel den Executoren zugeordnet werden, und dann führt jeder Executor die Stateful-Funktion aus, die an StateSpec.function übergeben wird.