HDInsight Spark-Cluster - kann keine Verbindung zu Azure Data Lake Store herstellen

Question

Ich habe also einen HDInsight-Spark-Cluster erstellt. Ich möchte, dass auf Azure Data Lake Store zugegriffen wird.

Zum Erstellen des HDInsight Spark-Clusters habe ich die Anweisungen unter: https://azure.microsoft.com/en-gb/documentation/articles/data-lake-store-hdinsight-hadoop-use-portal ausgeführt. Im Azure-Portal gab es jedoch keine Option zum Konfigurieren des AAD oder Hinzufügen eines Dienstprinzips.

Also mein Cluster wurde nur mit Azure Blob Storage erstellt. Jetzt möchte ich es erweitern, um auf Azure Data Lake Store zuzugreifen. Im Dialog "Cluster AAD Identity" steht jedoch "Service Principal: DISABLED" und alle Felder im Dialog sind grau und deaktiviert. Ich kann keine Möglichkeit sehen, den Speicher so zu erweitern, dass er auf ADL zeigt.

Jede Hilfe wäre willkommen! Danke :-)

Answer 1

Sie können Ihre Daten von Blob zu ADLS mit Data Factory verschieben, aber Sie können von einem Spark-Cluster nicht direkt auf ADLS zugreifen.

Answer 2

Welchen Clustertyp haben Sie erstellt? In unserem Linux-Cluster sind alle Optionen verfügbar, die in der Anleitung aufgelistet sind, die Sie verlinkt haben.

Answer 3

Erstellen Sie einen Azure Hdinsight-Cluster mit ServicePrincipal. ServicePrincipal sollte Zugriff auf Ihr Datenspeicherkonto haben. Sie können Ihren Cluster so konfigurieren, dass Datenspeicher verwendet wird, aber das ist sehr kompliziert. Und tatsächlich gibt es dafür keine Dokumentation. Also empfohlene Art zu erstellen ist mit ServicePrincipal.