Garnstatus vom Dataproc-Client - warum ist es immer ein Listenobjekt?

Question

Wir haben laufen Funken Jobs auf Dataproc Cluster mit Garn - wir haben auch ein Wrapper-Programm in Python, die für den Status des Auftrags Konstante Polling tut und wir überwachen den Auftragsstatus aus Garnen - wie folgt dargestellt:

dataproc = discovery.build('dataproc', 'v1', credentials=credentials) 
job_id = '8873a82c-6201-48d4-8ad3-d8f236ef9c49' 
projectId='dev-111111' 
REGION = 'global' 

result = dataproc.projects().regions().jobs().get(projectId=projectId,region=REGION,jobId=job_id).execute() 

print result['yarnApplications'][0]['state'] 

here

Das obige "Ergebnis" ist ein JSON-Objekt und innerhalb des JSON-Objekts gibt es ein Feld namens "yarnApplications", das ein Listenobjekt ist, dessen erstes und einziges Element den Jobstatus enthält wir sind interessiert an.

Frage i s - warum dieses "yarnApplications" -Objekt immer ein Listenobjekt ist, auch wenn nur ein Garnauftrag läuft? Wir haben Situationen gesehen, in denen Garn mehrere Versuche unternimmt, einen Job zu starten - wird das Feld "yarnApplications" in dieser Situation mehrere Elemente enthalten?

Auch ist es, dass garantiert - wenn wir nur einen Job läuft auf Garn haben „yarnApplications“ Liste Objekt nur ein Element enthalten?

Wir verstehen, dass dies nur eine Beta-Version für Dataproc Client ist - aber als wir Produktionssystem läuft auf sie haben würde jede Eingabe und Vorschläge so zu schätzen wissen.

Dank

Answer 1

Per der Dataproc API job definition enthalten Arbeitsplätze eine „Sammlung“ von YarnApplications, und diese Definition im Allgemeinen kann es Art auf den Runtime-Inhalte auf Basis nicht ändern. Zum Beispiel die Java-Schnittstelle für Job.getYarnApplications()returns a java.util.List, unabhängig davon, ob die Liste nur ein Element oder null oder viele hat.

Diese API-Definition wurde entwickelt, um verschiedene Auftragsarten aufnehmen, die mehrere Garnanwendungen pro Auftrag einreichen, so hat Hive oder Schwein. In einigen Fällen senden Hadoop-JAR-Dateien auch mehrere Jobs, beispielsweise wenn das Treiberprogramm ein Apache Crunch-Programm ist oder Sie Gridmix ausführen.

Sie sind in der Tat garantiert, dass, wenn Sie nur einen Job in GARN ausgeführt haben, dann ist das Listenobjekt ein Element nur enthalten wird; Die YARN-Anwendungen in der Liste sind nur diejenigen, die durch den gegebenen Jobaufruf erzeugt wurden. Selbst wenn Sie mehrere Dataproc-Jobs zur gleichen Zeit ausführen, während jeweils mehrere gleichzeitige YARN-Anwendungen gesendet werden, enthält jeder Job nur die bestimmte (n) YARN-Anwendung (en), die der Job selbst gesendet hat.