pyspark Automatisierung mit Cron Job

Question

Ich habe einen Cron-Job, der alle zwei Minuten aufgerufen wird Der Zweck dieses Jobs ist es, auf neue Anfrage zu prüfen und einen Funken Job auszulösen. Cron Job -> ruft eine Shell-Skript -> ruft Funken einreichen

source /etc/hadoop/conf/hadoop-env.sh 
source /etc/spark/conf/spark-env.sh 
spark-submit --executor-memory 2g --num-executors 1 --packages com.databricks:spark-csv_2.10:1.5.0 \ 
            --py-files <some egg files location> \ 
            <python main script> \ 
            <configuration file> <Input Parameters> 

Beim manuellen trigered, das Skript funktioniert gut, aber wenn man durch cron ausgelöst geht es in ein totes Schloss versucht Funken Kontext zu erhalten.

Jeder Körper jemand haben Hinweise für mich zu diesem Thema?

Answer 1

Das Problem war mit Kerbeos. Der Link hat die Antwort Click Here