Ich erhalte Folgendes: error, während ein zufälliges Gesamtstrukturmodell auf der Festplatte gespeichert wird. Funken Cluster Configuration- Funken Paket - spark-1.6.0-bin-hadoop2.6 Modus - StandaloneFehler beim Speichern des zufälligen Gesamtstrukturmodells in der Spark-Clusterskala
ich Funken renne durch die gleichen Daten in jedem Slave-Maschine Kopieren
command - localModel.save(SlapSparkContext.get(), path) Modell trainiert wurde, und es ist richtig für den Test der Vorhersage Daten
error trace
java.lang.NullPointerException bei org.apache.parquet.hadoop.ParquetFileWriter.mergeFooters (ParquetFileWriter.java:456) bei org.apache.parquet.hadoop.ParquetFileWriter.writeMetadataFile (ParquetFileWriter.java:420) bei org.apache.parquet.hadoop. ParquetOutputCommitter.writeMetaDataFile (ParquetOutputCommitter.java:58) bei org.apache.parquet.hadoop.ParquetOutputCommitter.commitJob (ParquetOutputCommitter.java:48) bei org.apache.spark.sql.execution.datasources.BaseWriterContainer.commitJob (WriterContainer. scala: 230) bei org.apache.spark.sql.execution.datasources.InsertIntoHadoopFsRelation $$ anonfun $ run $ 1.apply $ mcV $ sp (InsertIntoHadoopFsRelation.scala: 151) bei org.apache.spark.sql.execution. datasources.InsertIntoHadoopFsRelation $$ anonfun $ run $ 1.apply (InsertIntoHadoopFsRelation.scala: 108) an org.apache.spark.sql.execution.datasources.InsertIntoHadoopFsRelation $$ anonfun $ run $ 1.apply (InsertIntoHadoopFsRelation.scala: 108) bei org.apache.spark.sql.execution.SQLExecution $ .withNewExecutionId (SQLExecution.scala: 56) bei org.apache.spark.sql.execution.datasources.InsertIntoHadoopFsRelation.run (InsertIntoHadoopFsRelation.scala: 108) bei org.apache.spark.sql.execution.ExecutedCommand.sideEffectResult $ lzycompute (commands.scala: 58) bei org.apache.spark.sql.execution.ExecutedCommand.sideEffectResult (commands.scala: 56) bei org.apache.spark.sql.execution.ExecutedCommand.doExecute (commands.scala: 70) bei org.apache. spark.sql.execution.SparkPlan $$ anonfun $ ausführen $ 5.apply (SparkPlan.scala: 132) bei org.apache.spark.sql.execution.SparkPlan $$ anonfun $ ausführen $ 5.apply (SparkPlan.s cala: 130) bei org.apache.spark.rdd.RDDOperationScope $ .withScope (RDDOperationScope.scala: 150) bei org.apache.spark.sql.execution.SparkPlan.execute (SparkPlan.scala: 130) bei org .apache.spark.sql.execution.QueryExecution.toRdd $ lzycompute (QueryExecution.scala: 55) bei org.apache.spark.sql.execution.QueryExecution.toRdd (QueryExecution.scala: 55) bei org.apache.spark .sql.execution.datasources.ResolvedDataSource $ .apply (ResolvedDataSource.scala: 256) bei org.apache.spark.sql.DataFrameWriter.save (DataFrameWriter.scala: 148) bei org.apache.spark.sql.DataFrameWriter. Speichern (DataFrameWriter.scala: 139) bei org.apache.spark.sql.DataFrameWriter.parquet (DataFrameWriter.scala: 329) bei org.apache.spark.mllib.tree.model.TreeEnsem bleModel $ SaveLoadV1_0 $ .save (treeEnsembleModels.scala: 453) bei org.apache.spark.mllib.tree.model.RandomForestModel.save (treeEnsembleModels.scala: 65)
Haben Sie denselben Fehler, wenn Sie localModel.save (...) durch localModel.count ersetzen? – eliasah
eliasah - Ich kann keine Methodennameanzahl finden. Verwenden Sie spark-mllib_2.10 -version 1.6 –
dann führen Sie eine Zählung auf die Daten Ihrer Feed für den RF-Algorithmus vor dem Ausführen des Algorithmus – eliasah