Hadoop Jobs in Deadlock mit pyspark und oozie

Question

Ich versuche, pyspark auf Garn mit oozie zu laufen, nach dem Einreichen des Arbeitsablaufs gibt es 2 Jobs in der Hadoop-Job-Warteschlange, man ist der Oozie-Job, der mit der Anwendungstyp ist " map reduce ", und ein anderer Job, ausgelöst durch den vorherigen, mit dem Anwendungstyp" Spark ", während der erste Job ausgeführt wird, bleibt der zweite Job im Status 'accepted'. Hier kommt das Problem, während der erste Job auf den zweiter Job, um den Vorgang zu beenden, der zweite wartet auf den ersten, der ausgeführt wird, ich könnte in einem toten Schloss stecken bleiben, wie kann ich diesen Ärger loswerden, gibt es sowieso den Hadoop-Job mit dem Anwendungstyp "mapreduce" parallel zu anderen Jobs unterschiedlicher Anwendungsart laufen?

Jeder Rat wird geschätzt, danke!

Answer 1

Bitte überprüfen Sie den Wert für die Eigenschaft in Yarn Scheduler Konfiguration. Ich denke, Sie müssen es auf etwas wie .9 oder so erhöhen.

Eigentum: yarn.scheduler.capacity.maximum-am-Ressource-Prozent

Sie müßten Garn beginnen, MapReduce und Oozie nach der Eigenschaft zu aktualisieren.

More info: Setting Application Limits.