Wie man Funkenjob zum EMR-Garncluster von Jenkins einsetzt?

Question

Ich habe mehrere Funken Jobs auf einem EMR-Cluster mit Garn, die regelmäßig laufen müssen und sind von Jenkins eingereicht. Zur Zeit wird die Jenkins-Maschine in den Master-Knoten auf EMR geschickt, wo eine Kopie des Codes in einem Ordner zur Ausführung bereit steht. Ich möchte meinen Repo in den jenkins-Arbeitsbereich klonen und den Code von Jenkins einreichen, der auf dem Cluster ausgeführt wird. Gibt es einen einfachen Weg, dies zu tun? Was ist der beste Weg, um Funken von Jenkins zu setzen?

Answer 1

können Sie diese rest api verwenden HTTP-Anfragen von Jenkins rufen Sie auf Start/Stopp der Jobs

Answer 2

Wenn Sie Python in Jenkins haben, implementieren Skript Boto3 ist eine gute, einfache, flexible und leistungsfähige Option.

Sie können EMR (So Spark) verwalten, indem Sie den gesamten Cluster erstellen oder einem vorhandenen Job hinzufügen. Mit derselben Bibliothek können Sie auch alle AWS-Dienste verwalten.