Verbinden von Blob mit Spark fehlgeschlagen

Question

Ich versuche, Funken in Hortonworks 2.4 Verteilung zu Azure Blob Speicher verbinden und ich bekam Fehler "Wasb-Dateisystem nicht erkannt". Ich überprüfte und schlug vor, azure-sdk-for-java herunterzuladen und ein Paket zu erstellen.

Ich versuche, Paket mit MVN zu erstellen, aber während sowohl mvn Test und MVN-Paket ausgeführt wird; Der Prozess wird während des Tests gehängt. Es wird kein Fehler angegeben, es wurde einfach nichts zurückgegeben. Ich hatte testconfiguration.xml geändert, um meinen Blob-Account-Namen widerzuspiegeln. Im Folgenden finden Sie die Protokolldateien, die ich erhalte.

Gibt es noch etwas anderes zu tun, um Gläser zu bekommen?

[INFO] Scanning for projects... 
[INFO] 
[INFO] ------------------------------------------------------------------------ 
[INFO] Building Microsoft Azure Storage Client SDK 4.3.0 
[INFO] ------------------------------------------------------------------------ 
[INFO] 
[INFO] --- maven-resources-plugin:2.5:resources (default-resources) @ azure-storage --- 
[debug] execute contextualize 
[INFO] Using 'UTF-8' encoding to copy filtered resources. 
[INFO] skip non existing resourceDirectory /home/adminhorton/kspark/azure-storage-java-master/src/main/resources 
[INFO] 
[INFO] --- maven-compiler-plugin:2.3.2:compile (default-compile) @ azure-storage --- 
[INFO] Nothing to compile - all classes are up to date 
[INFO] 
[INFO] --- maven-resources-plugin:2.5:testResources (default-testResources) @ azure-storage --- 
[debug] execute contextualize 
[INFO] Using 'UTF-8' encoding to copy filtered resources. 
[INFO] Copying 2 resources 
[INFO] 
[INFO] --- maven-compiler-plugin:2.3.2:testCompile (default-testCompile) @ azure-storage --- 
[INFO] Compiling 52 source files to /home/adminhorton/kspark/azure-storage-java-master/target/test-classes 
[INFO] 
[INFO] --- maven-surefire-plugin:2.13:test (default-test) @ azure-storage --- 
[INFO] Surefire report directory: /home/adminhorton/kspark/azure-storage-java-master/target/surefire-reports 
T E S T S 

parallel='classes', perCoreThreadCount=true, threadCount=2, useUnlimitedThreads=false 
Running com.microsoft.azure.storage.StorageAccountTests 
Tests run: 33, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.057 sec 
Running com.microsoft.azure.storage.StorageUriTests 
Tests run: 6, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.071 sec 

com.microsoft.azure.storage.StorageAccountTests.txt 
com.microsoft.azure.storage.StorageUriTests.txt 

com.microsoft.azure.storage.StorageAccountTests.txt 
com.microsoft.azure.storage.StorageUriTests.txt 

Answer 1

Laut Ihrer Beschreibung bin ich mir nicht sicher, ob Sie Ihre Speicherkonfiguration in Ihrem Projekt richtig konfiguriert haben. So empfehle ich Ihnen diese Schritte ausführen können Sie Ihre Konfigurationen zu überprüfen:

1.Erstellen Ihre Azure Storage Konto und legen Sie es in core-site.xml als dieses Format:

<property> 
    <name>fs.azure.account.key.youraccount.blob.core.windows.net</name> 
    <value>YOUR ACCESS KEY</value> 
</property> 

2.Restart der HDP-Dienst verwenden, Hadoop fs –ls wasb://**.blob.core.windows.net/ um die Dateien im Container aufzulisten.

Ich empfehle dringend, dass Sie auf diesen Blog how-to-configure-hortonworks-hdp-to-access-azure-windows-storage und offiziellen document verweisen können.

In der Zwischenzeit @Yuval zur Verfügung gestellt das große Beispiel über die Verbindung mit Azure Blob mit Java SDK.