Ist es möglich, einen Python-Web-Scraper über AWS SWF und Lambda-Funktion auszuführen?

Question

Ich habe einen Python Web Scraper zum Herunterladen von mehr als 4PB zu 8PB Daten aus dem Internet erstellt. Ich muss mehr als 1k + Spinne pro Sekunde zum Herunterladen von Daten von 12 Websites laufen. Wenn ich ec2-Instanz verwende, wird es sehr kostenintensiv sein. Jemand sagte mir, ich solle SWF und Lambda benutzen. Aber ich habe im Web nichts über Web Scraper mit SWF gefunden.

Ist es möglich, diesen Spider über Amazon Simple Workflow Service ODER AWS Lambda zu betreiben?

Answer 1

Ich bin mir nicht sicher, ob Sie Lambda verwenden könnten, wenn Ihr Scraper eine große Menge an Daten herunterladen muss.

Werfen Sie einen Blick auf AWS Lambda Limits

Wie wäre es EC2 Spot Instances? Sie können weiterhin ec2-Instanzen mit effektiven Kosten verwenden.