Funken mehrere Gläser für azur

Question

Im angeben versuchen zu Blobs für den Zugriff auf von meinem Funken Shell aber die folgenden fehler-

scala> sc.textFile("wasb://mycontainer@test.blob.core.windows.net/testfolder/txtfile").count() 
java.lang.NoClassDefFoundError: com/microsoft/azure/storage/StorageException 
    at org.apache.hadoop.fs.azure.NativeAzureFileSystem.createDefaultStore(NativeAzureFileSystem.java:1064) 
    at org.apache.hadoop.fs.azure.NativeAzureFileSystem.initialize(NativeAzureFileSystem.java:1035) 
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2397) 
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:89) 
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2431)\ 

mehr jar bekommen in den Gläsern

Ps-M:spark-2.1.1-bin-hadoop2.7 p$ bin/spark-shell --jars "/Users/p/Documents/ba/spark-tutorial/spark-2.1.1-bin-hadoop2.7/jars/hadoop-azure-2.7.0.jar" "/Users/p/Documents/ba/spark-tutorial/spark-2.1.1-bin-hadoop2.7/jars/azure-storage-2.0.0.jar" 

Richtlinie würde Ich mag an weiß, wie man mehrere Gläser in der --jars Direktive spezifiziert, gerade jetzt erwähnte ich als "jar1" "jar2"

Answer 1

Mehrere JARs werden durch Komma getrennt.

Versuchen

Ps-M:spark-2.1.1-bin-hadoop2.7 p$ bin/spark-shell --jars "/Users/p/Documents/ba/spark-tutorial/spark-2.1.1-bin-hadoop2.7/jars/hadoop-azure-2.7.0.jar,/Users/p/Documents/ba/spark-tutorial/spark-2.1.1-bin-hadoop2.7/jars/azure-storage-2.0.0.jar" 

Stellen Sie außerdem sicher com/microsoft/azure/storage/StorageException Klasse ist in den oben JARS zu laufen. Sie können laufen, dass folgende Voraussetzungen erfüllt sein:

jar -tvf /Users/p/Documents/ba/spark-tutorial/spark-2.1.1-bin-hadoop2.7/jars/hadoop-azure-2.7.0.jar | grep -i com.microsoft.azure.storage.StorageException 

jar -tvf /Users/p/Documents/ba/spark-tutorial/spark-2.1.1-bin-hadoop2.7/jars/azure-storage-2.0.0.jar | grep -i com.microsoft.azure.storage.StorageException 

Wenn Sie nicht StorageException Klasse in über 2 JARS suchen Sie dann nach den Krügen, die diese Klasse hat und in der --jars Option finden.

Hoffe, das hilft