Wie kann man ein Python-Skript am besten täglich ausführen?

Question

Ich habe ein Python-Skript, das eine Verbindung zu Redshift herstellt, eine Reihe von SQL-Befehlen ausführt und eine neue abgeleitete Tabelle generiert.

Aber für das Leben von mir kann ich keinen Weg finden, es automatisch jeden Tag laufen zu lassen.

Ich habe versucht AWS Data Pipeline, aber mein Shell-Skript wird nicht die erste Kopie-Anweisung ausführen. Ich kann Lambda oder Glue nicht zum Arbeiten bringen, da die IAM-Richtlinien meines Unternehmens restriktiv sind. Airflow scheint wie Overkill, um nur ein einziges Python-Skript täglich auszuführen.

Irgendwelche Vorschläge für Dienstleistungen zu prüfen?

Answer 1

einen cron-Job auf einer EC2-Instanz verwenden oder ein geplantes Ereignis einrichten, um Ihre aws Python Lambda-Funktion http://docs.aws.amazon.com/lambda/latest/dg/with-scheduled-events.html

Answer 2

Cron-Job?

00 12 * * * /home/scottie/bin/my_python_script.py 

Run my_python_script.py an der Spitze der Stunde (0. Minute), mittags, jeden Tag.

Answer 3

Ich verwende eine geplante Aufgabe unter Windows. Entweder über die GUI oder über die at command eingeben.

Answer 4

Jenkins möglicherweise hilft, einen Job mit Zeitplan zu erstellen.

Answer 5

Wenn Sie AWS Glue verwenden oder aus einem anderen Grund einen Entwicklungsendpunkt installieren, können Sie mithilfe von Apache Zeppelin beliebigen Code aus einer beliebigen Sprache (wenn Sie über die JAR-Dateien verfügen) in einem auf einem Cron-Befehl basierenden Zeitplan ausführen. Hier ist das Notebook ich Redshift nächtlichen Wartung ausführen verwenden:

Redshift Maintenance in a Zeppelin notebook