2017-02-06 4 views
1

Ich richte eine neue Anwendung ein, die ich mit docker-compose verpacken möchte. Derzeit habe ich in einem Container eine Flask-Admin-Anwendung, die auch eine API für die Interaktion mit der Datenbank verfügbar macht. Ich werde dann viele Schaber haben, die einmal am Tag laufen müssen. Diese Scraper sollten die Daten abkratzen, die Daten neu formatieren und dann an die API senden. Ich nehme an, ich sollte einen anderen Hafencontainer für die Schaber laufen lassen.Running Scrapy in einem Docker-Container

Derzeit auf meinem lokalen Computer ich Scrapy run-spider myspider.py ausführen, um jede Spinne zu laufen.

Was wäre der beste Weg, mehrere Scraper in einem Container zu haben und sie an verschiedenen Punkten im Laufe des Tages laufen zu lassen?

Antwort

1

Sie können Ihren Docker-Container mit den Scraper so konfigurieren, dass er "cron" verwendet, um die Spider zu geeigneten Zeiten abzufeuern. Hier ein Beispiel: "Run a cron job with Docker"

Verwandte Themen