Senden Sie Spark-Jobs in EMR gleichzeitig von Lambda

Question

Meine Anwendung hat die Anforderung zur Echtzeitverarbeitung von Daten mit EMR Funken Jobs.

Ich benutze AddJobFlowSteps API von EMR von Lambda, aber die in der Natur sequenziell ist.

Gibt es eine andere Möglichkeit, Jobs an EMR von Lambda zu senden, die in der Natur gleichzeitig ist?

Answer 1

Sie können das benutzerdefinierte 'spark-submit'-Skript verwenden.

Ich benutze diese:

cat /usr/bin/spark-submit-forked 
#!/bin/bash 

(nohup spark-submit "$@" > /dev/null 2>&1 &)