Status: Failed
Vertex failed, vertexName=Map 1, vertexId=vertex_1470692453676_0866_1_00, diagnostics=[Task failed, taskId=task_1470692453676_0866_1_00_000000, diagnostics=[TaskAttempt 0 failed, info=[Error: Failure while running task:java.lang.IllegalArgumentException: tez.runtime.io.sort.mb 2048 should be larger than 0 and should be less than the available task memory (MB):2048
at com.google.common.base.Preconditions.checkArgument(Preconditions.java:92)
at org.apache.tez.runtime.library.common.sort.impl.ExternalSorter.getInitialMemoryRequirement(ExternalSorter.java:327)
at org.apache.tez.runtime.library.output.OrderedPartitionedKVOutput.initialize(OrderedPartitionedKVOutput.java:93)
at org.apache.tez.runtime.LogicalIOProcessorRuntimeTask$InitializeOutputCallable._callInternal(LogicalIOProcessorRuntimeTask.java:505)
at org.apache.tez.runtime.LogicalIOProcessorRuntimeTask$InitializeOutputCallable.callInternal(LogicalIOProcessorRuntimeTask.java:487)
at org.apache.tez.runtime.LogicalIOProcessorRuntimeTask$InitializeOutputCallable.callInternal(LogicalIOProcessorRuntimeTask.java:472)
at org.apache.tez.common.CallableWithNdc.call(CallableWithNdc.java:36)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
], TaskAttempt 1 failed, info=[Error: Failure while running task:java.lang.IllegalArgumentException: tez.runtime.io.sort.mb 2048 should be larger than 0 and should be less than the available task memory (MB):2048
at com.google.common.base.Preconditions.checkArgument(Preconditions.java:92)
at org.apache.tez.runtime.library.common.sort.impl.ExternalSorter.getInitialMemoryRequirement(ExternalSorter.java:327)
at org.apache.tez.runtime.library.output.OrderedPartitionedKVOutput.initialize(OrderedPartitionedKVOutput.java:93)
at org.apache.tez.runtime.LogicalIOProcessorRuntimeTask$InitializeOutputCallable._callInternal(LogicalIOProcessorRuntimeTask.java:505)
at org.apache.tez.runtime.LogicalIOProcessorRuntimeTask$InitializeOutputCallable.callInternal(LogicalIOProcessorRuntimeTask.java:487)
at org.apache.tez.runtime.LogicalIOProcessorRuntimeTask$InitializeOutputCallable.callInternal(LogicalIOProcessorRuntimeTask.java:472)
at org.apache.tez.common.CallableWithNdc.call(CallableWithNdc.java:36)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
], TaskAttempt 2 failed, info=[Error: Failure while running task:java.lang.IllegalArgumentException: tez.runtime.io.sort.mb 2048 should be larger than 0 and should be less than the available task memory (MB):2048
-1
A
Antwort
0
Versuchen Sie, die Art Puffergröße auf den Standardwert zurückzusetzen tez.runtime.io.sort.mb=512
im Bienenstock-site.xml und versuchen Sie es erneut
+0
Dank Addy. Es hat für mich funktioniert. Ich habe den Wert dieser Eigenschaft auf tez.runtime.io.sort.mb = 1024 zurückgesetzt, wie es in meinem Cluster empfohlen wurde. TQ –
Verwandte Themen
- 1. Spark-Jobs können nicht mit Oozie
- 2. Wie hiveconf Variable vom Bienenstock Oozie Aktion
- 3. Fehler: IO_ERROR: java.io.IOException: Fehler beim Verbinden des Oozie-Servers
- 4. Wie in Warteschlange eingereihte Koordinator Jobs in Oozie zu entfernen?
- 5. Hadoop Jobs in Deadlock mit pyspark und oozie
- 6. Jobs aus der Webbenutzeroberfläche von oozie löschen?
- 7. Fehler beim Ausführen Beispiel von Oozie Job
- 8. Oozie Job führt immer wieder
- 9. URLSessionTask läuft immer in einen Fehler
- 10. Erzwingen des Oozie-Jobs für den spezifischen Knoten
- 11. läuft mehrere MapReduce Jobs in hadoop
- 12. Fehler beim mongodump läuft
- 13. Fehler mit Nukleusexzeption und jdofatalexception beim Start Bienenstock
- 14. Das Exportieren von Jobs in Oozie Web Console
- 15. Jenkins läuft mehrere xcode Jobs mit Simulator?
- 16. Zurück Fehler beim Festlegen eines Felds Partition in Bienenstock
- 17. Fehler beim Emulator in Android läuft Studio
- 18. Fehler beim Überschreiben von Parkett Bienenstock Tabelle in pyspark
- 19. Dataproc Fehler Oozie Paket
- 20. Oozie Job Scheduling verursacht Zeitüberschreitungsfehler
- 21. Fehler beim Jenkins in Docker läuft
- 22. DestroyJavaVM Thread läuft IMMER
- 23. Oozie Bienenstock Workflow kann nicht mit java.lang.StackOverflowError im Farbton (HA-Modus)
- 24. Kein geeigneter Treiber gefunden Fehler beim Start Bienenstock und Funken
- 25. Kann Beispielfunkenauftrag mit oozie
- 26. HBase Verbindung in MapReduce läuft von Oozie Workflow schlägt fehl
- 27. spark sql Bienenstock Verbindung Fehler
- 28. Override hadoops mapreduce.fileoutputcommitter.marksuccessfuljobs in oozie
- 29. Compiler-Fehler beim Projekt in Xcode läuft MapKit Rahmen mit
- 30. Oozie -Pyspark Job werfen Fehler
empfehle ich Ihnen einige tez zuweisen Speichereinstellungen für Bienenstock und Wiederholung, könnte dieser Link nützlich sein https://documentation.altiscale.com/memory-settings-for-tez – Aditya