FileNotFoundException in Apache Funken (1.6) Job während des Zufalls Dateien

Question

ich auf Funken arbeiten 1.6, es ist meinen Job mit folgendem Fehler fehlschlägt

java.io.FileNotFoundException:/data/05/dfs/dn/Garn/nm/usercache/willir31/appcache/application_1413512480649_0108/spark-local-20141028214722-43f1/26/shuffle_0_312_0.index (Keine solche Datei oder Verzeichnis) java.io.FileOutputStream.open (native Methode) java.io.FileOutputStream . (FileOutputStream.java:221) org.apache.spark.storage.DiskBlockObjectWriter.open (BlockObjectWriter.scala: 123) org.apache.spark.storage.DiskBlockObjectWriter.write (BlockObjectWriter.scala: 192) org.apache.spark.util.collection.ExternalSorter $$ anonfun $ writePartitionedFile $ 4 $$ anonfun $ anwenden $ 2.apply (ExternalSorter.scala: 733) org.apache.spark.util.collection.ExternalSorter $$ anonfun $ writePartitionedFile $ 4 $$ anonfun $ anwenden $ 2.apply (ExternalSorter.scala: 732) scala.collection.Iterator $ class.foreach (Iterator.scala: 727) org.apache.spark.util.collection.ExternalSorter $ IteratorForPartition.foreach (ExternalSorter.scala: 790) org.apache.spark.util.collection.ExternalSorter $$ anonfun $ writePartitionedFile $ 4.apply (ExternalSorter.scala: 732) org.apache.spark.util.collection.ExternalSorter $$ anonfun $ writePartitionedFile $ 4.apply (ExternalSorter.scala: 728) scala.collection.Iterator $ class.foreach (Iterator.scala: 727) scala.collection.Abstr actIterator.foreach (Iterator.scala: 1157) org.apache.spark.util.collection.ExternalSorter.writePartitionedFile (ExternalSorter.scala: 728) org.apache.spark.shuffle.sort.SortShuffleWriter.write (SortShuffleWriter.scala: 70) org.apache.spark.scheduler.ShuffleMapTask.runTask (ShuffleMapTask.scala: 68) org.apache.spark.scheduler.ShuffleMapTask.runTask (ShuffleMapTask.scala: 41)

ich bin Durchführung beitreten Operationen. Wenn ich sorgfältig in den Fehler schaue und meinen Code überprüfe, habe ich festgestellt, dass er fehlschlägt, während er von DataFrame zurück in CSV schreibt. Aber ich kann es nicht loswerden. Ich benutze nicht hdp, ich habe eine separate Installation für alle Komponenten.

Answer 1

Diese Art von Fehlern tritt normalerweise auf, wenn bei einigen Tasks tiefere Probleme auftreten, z. Da Sie nicht genug Details (bitte unbedingt How To Ask und How to create a Minimal, Complete, and Verifiable example lesen) liefern kann und Auftragsstatistiken der einzige Ansatz, ich denke aus kann Anzahl der Shuffle-Partitionen deutlich zu erhöhen ist:

sqlContext.setConf("spark.sql.shuffle.partitions", 2048)