Rest-Schnittstelle zu HDInsight Spark zum Senden von Jobs und zum Lesen von Ergebnissen

Question

Ich habe einen Spark-Cluster innerhalb von HDInsight auf Azure eingerichtet. Ich habe einen Dienst, der regelmäßig Daten in den HDInsight-Blobspeicher schreibt und eine externe Hive-Tabelle erstellt habe darüber hinaus. Ich bin in der Lage, Jupyter zu verwenden und einige Spark SQL-Abfragen auszuführen und Ergebnisse zu sehen.

Jetzt habe ich eine ASP.Net Website, die ähnliche Spark SQL Abfrage-Auftrag auf Benutzeranforderung ausführen und das Ergebnis auf der Webseite anzeigen müssen.

Gibt es eine Bibliothek, um dies zu gratulieren oder kann jemand eine Probe dazu teilen?

Ich sehe, dass HDInsight Funken Cluster Cluster mit dem Livius kommt, aber ich sehe keine Probe, die uns zeigt, wie es Umgebung von meinem Dotnet zu verwenden. Übrigens gehe ich davon aus, dass dies der Weg ist, den wir nehmen müssen, um mein Problem anzugehen.

Ich bin wirklich neu in all dem, jeder Zeiger wird wirklich helfen.

Danke, Kiran

Answer 1

Sorry, dass wir derzeit nicht den HDInsight Spark-SDK. Sie können REST-Aufrufe immer an die APIs senden, wie hier beschrieben: https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-livy-rest-interface/.

Wenn Sie jedoch Ergebnisse von Livy-APIs erhalten möchten, müssen Sie einige Umgehungslösungen ausführen, damit dies funktioniert. Der Grund dafür ist, dass wir Spark in YARN im Clustermodus in HDInsight verwenden, wo die Ergebnisse nicht in Livy-APIs zurückgeschrieben werden. Sie müssen die Containerprotokolle des Spark-Treibers anzeigen und das stdout/stderr manuell abrufen.

Wenn Sie weitere Fragen haben, können Sie mir eine E-Mail an Xiaoyzhu bei Microsoft dot com und ich kann helfen, Route zu den richtigen Besitzer.

Xiaoyong Zhu von Microsoft HDInsight