Ich benutze spark-sql, um den Job auszuführen und was sollte der Produktionsbefehl sein? Kann ich den Befehl spark-sql als Produktionsauftrag verwenden?Spark: Wie erstelle ich einen Job für die Funkeverarbeitung
Danke, Virendra
Nicht ganz sicher, was Ihre Bedeutung der Produktion ist. Könnten Sie es ein bisschen mehr ausarbeiten?
spark-sql ist für die interaktive Erforschung der Daten entwickelt. Es startet einen Java-Prozess als REPL.
Vielleicht setzen Sie den Code in einem Maven-Projekt ist mehr geradlinig. Wie this
Danke! Ich bin nicht Programmierung Kerl wollte so mehr mit SQL-Typ-Funktion, die SPARK-SQL zu tun hat aber regelmäßige Basis Job in der Produktion Cluster muss ich JAR (scala/java Code-Basis) oder mit nur SPARK-SQL kann ich meine laufen lassen Arbeitsplätze. –
Sie sollten SPARK_HOME/bin/spark-submit, um Sie Code auf Cluster ausführen. Weitere Informationen finden Sie hier: http://spark.apache.org/docs/latest/submitting-applications.html
Danke! es bedeutet, dass ich Code in Scala oder Java schreiben und sqlContext aufrufen muss. Dann erstelle ein Glas und benutze SPARK-SUBMIT. Aber gibt es trotzdem, dass ich mit Only SPARK-SQL Job erstellen und mein Skript (sql) als Parameter aufrufen kann. –
Ich glaube nicht. Sie sollten Uber-JAR erstellen und zu Cluster bereitstellen. – Przemek
Haben Sie einen Produktionscluster? Oder wollen Sie nur Daten aus Datenbanken in "Produktionssystemen" verwenden? –
ja ich habe Produktionscluster. Um die Leistung der Abfrage mit mehreren Joins abzufragen und zu sehen, verwende ich SPARK-SQL. also kann SPARK-SQl in der Produktion auch für tägliche bsais laufen? oder sollte ich SPAR-SUBMIT verwenden? Das Problem ist, SPARK-SUBMIT zu verwenden, ich muss Scala- oder Java-Code schreiben und JAR erstellen, das in SPARK-SUBMIT verwendet werden kann. –