Wie Batch-Job in Python auf azurblauen geschrieben. Ich suche ähnlich, aber nicht für Java, sondern für Python.Submit Batch-Job in Python auf azurblauen geschrieben
curl -k --user "admin:mypassword1!" -v -H 'Content-Type: application/json' -X POST -d '{ "file":"wasb://[email protected]/data/SparkSimpleTest.jar", "className":"com.microsoft.spark.test.SimpleFile" }' "https://mysparkcluster.azurehdinsight.net/livy/batches"
Die MapReduce-Jobs für Java und Python sind unterschiedlich.
Das Java MapReduce-Programm hat eine JAR-Datei gepackt, da ein Job direkt auf Hadoop ausgeführt wird.
Aber der Python MapReduce Job wurde in zwei Dateien getrennt mapper.py und reducer.py auf der Hadoop Streaming über STDIN und STDOUT laufen.
Bitte beachten Sie das Dokument http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/, und laden Sie das Mapper & Reducer Python-Skript in die HDInsight, dann schreiben Sie ein Shell-Skript als Job für die Ausführung auf Hadoop.