2017-05-18 11 views
0

Hallo ich habe Scrapy seit einiger Zeit Scrapyd & verwendet und vor kurzem habe ich ein wirklich seltsames Problem angetroffen. Alle meine Spinnen werden für eine unbekannte Zeit (Tage) arbeiten, dann hat es einfach aufgehört zu arbeiten. Wenn ich die Logs überprüfte, sagt Connection 111 auf allen Spinnen abgelehnt, ich muss nur meine Ubuntu-Instanz neu starten, dann werden alle Spinnen wieder funktionieren (bevor sie nach x Tagen wieder fehlschlagen).Scrapy Verbindung abgelehnt

Irgendwelche Hilfe Jungs?

Antwort

1

Verwenden Sie scrapy-splash? Ich habe bemerkt, dass Splash nach einiger Zeit abstürzt (aufgrund von Speicherproblemen).

Wenn Sie mit Splash mit Docker, können Sie laufen

docker ps -a 

zu sehen, wenn Spritzen gescheitert und warum (Error 137 ein Speicherproblem ist, scheinbar).

Verwandte Themen