Planen von Python-Skripts für die Ausführung in AWS

Question

Ich habe 3 Python-Skripts, die zu unterschiedlichen Zeiten in AWS ausgeführt werden sollen. Derzeit habe ich diese 3 Skripts in einer EC2-Instanz und ich verwende cron, um sie auszuführen. Das erste und das zweite Skript laden einige Daten in ein bestimmtes Verzeichnis auf der EC2-Box herunter (etwa unter /home/ec2-user/data). Der dritte verwendet die heruntergeladenen Daten zum Ausführen.

Gelegentlich schlägt eines der ersten beiden Skripts fehl und verursacht auch den dritten Fehler. Ich habe jedoch keine Möglichkeit, die fehlgeschlagenen Skripts über cron erneut zu versuchen, es sei denn, ich erstelle die Fehlerwiederherstellungslogik in den Skripts. Außerdem bin ich nicht glücklich darüber, eine EC2-Instanz zu verwenden. Es ist keine gute Lösung. Es wäre besser, den AWS-Dienst dafür zu verwenden.

Ich möchte wissen, ob AWS Lambda ist ein guter Service hier zu verwenden? Wenn ja, wie gebe ich an, wo die Daten heruntergeladen werden sollen und wo das dritte Skript Daten lesen soll?

Oder gibt es einen anderen Dienst in AWS, der am besten in dieses Szenario passt?

Answer 1

Ja, Sie können aws Lambda dafür verwenden. Sie können s3 für Ihre Datenspeicheranforderungen verwenden.

Eine Einschränkung, die Sie beachten müssen, ist, dass die maximale Zeit für die Ausführung des Jobs 300 Sekunden beträgt.

Referenz: http://docs.aws.amazon.com/lambda/latest/dg/with-scheduled-events.html

Answer 2

Überprüfen Sie die Arbeiter Umwelt von AWS Elastic Beanstalk. Dadurch wird eine EC2- und eine SQS-Warteschlange gestartet, die automatisch von AWS EB-Docs verwaltet werden, und eine einfache tutorial. Im aktuellen Kontext müssen die Skripte irgendwie kommunizieren, weil das dritte Skript durch das zweite Skript konditioniert wird. Wie lange dauert es, bis die Skripte ausgeführt werden? Können Sie die Skripte zusammenführen? Bitte geben Sie weitere Einzelheiten an.