Filestream auf Cluster gibt mir eine Ausnahme

Ich schreibe eine Spark-Streaming-Anwendung Datei-Stream mit ...Filestream auf Cluster gibt mir eine Ausnahme

val probeFileLines = ssc.fileStream[LongWritable, Text, TextInputFormat]("/data-sources/DXE_Ver/1.4/MTN_Abuja/DXE/20160221/HTTP", filterF, false) //.persist(StorageLevel.MEMORY_AND_DISK_SER)

Aber ich Ausnahmefehler erhalten für Datei/IO..for

16/09/07 10:20:30 WARN FileInputDStream: Error finding new files 
java.io.FileNotFoundException: /mapr/cellos-mapr/data-sources/DXE_Ver/1.4/MTN_Abuja/DXE/20160221/HTTP 
     at com.mapr.fs.MapRFileSystem.listMapRStatus(MapRFileSystem.java:1486) 
     at com.mapr.fs.MapRFileSystem.listStatus(MapRFileSystem.java:1523) 
    at com.mapr.fs.MapRFileSystem.listStatus(MapRFileSystem.java:86)

Während Das Verzeichnis existiert in meinem Cluster.

ich meinen Job bin mit Funken mit einreichen

spark-submit --class "StreamingEngineSt" target/scala-2.11/sprkhbase_2.11-1.0.2.jar

Quelle

2016-09-07 Luckylukee

Dieses zu Dateiberechtigungen oder Eigentum in Verbindung stehen könnte (müssen sein kann hdfs Benutzer).

Quelle

2016-09-07 06:18:50

Wenn ich .. val probeFileLines = ssc.fileStream [LongWritable, Text, TextInputFormat] ("hdfs: //data-sources/DXE_Ver/1.4/MTN_Abuja/DXE/20160221/HTTP", filterF, false) .. es gibt mir java.lang.IllegalArgumentException: java.net.UnknownHostException: Daten-Quellen kann mir jemand einen Hinweis auf die ordnungsgemäße Verwendung des Arguments .. Ich glaube nicht, dass es aufgrund von Berechtigungen oder Eigentumsrechte ist – Luckylukee

Filestream auf Cluster gibt mir eine Ausnahme

Antwort

Verwandte Themen