Ich schreibe ein Scrapy Spider. Es exportierte Daten in Datei, deren Name ich über die Befehlszeile übergab: E:\Anaconda3\envs\Blog2Doc\Lib\site-packages\scrapy\cmdline.py runspider blog2doc_scrapy\spiders\blog_spider.py -o ..\data\out.html. Wenn diese Datei bereits existiert, fügt dieser Spider nur Inhalt an die existierende Datei an. So prüfen Sie, ob die Ausgabedatei bereits existiert und wenn sie existiert - löschen Sie sie. Zum Exportieren in die Datei schreibe ich die Blog2DocExporter (BaseItemExporter) -Klasse. Es wird keine Ausgabedatei geöffnet, im Konstruktor wird das Dateiobjekt bereits geöffnet. In dieser Export-Klasse kann ich nicht überprüfen, ob die exportierte Datei bereits existiert.In Scrapy wie überprüft man, ob die exportierte Datei bereits existiert?
0
A
Antwort
0
Scrapy überschreiben die Ausgabedateien ist ein bekanntes offenes Problem. Siehe zum Beispiel:
- output as xml appending to existing file when spider re-executed resulting in invalid xml
- Add a command-line option for overwriting exported file
Ich habe selbst ein Fix vorgeschlagen, Umbenennen von Dateien mit Inkrementieren Suffixe. Die Implementierung ist jedoch nicht abwärtskompatibel. Sie können dies nützlich dennoch finden: https://github.com/scrapy/scrapy/pull/2093
Es ändert sich die FileFeedStorage, aber man konnte etwas ähnliches und Blick auf this other answer implementieren solche individuellen Feed Speicherklasse zu verwenden.
Verwandte Themen
- 1. Wie überprüft man, ob in ArangoDB bereits eine Sammlung existiert?
- 2. Wie überprüft man, ob Schlüsselname bereits in EC2 existiert
- 3. Wie überprüft man, ob der Dateiname bereits existiert oder nicht?
- 4. Wie überprüft man, ob eine Abfragezeichenfolge bereits existiert
- 5. Firebase-Datenbankregel - Wie überprüft man, ob der Login bereits existiert?
- 6. HTML PHP - Wie überprüft man, ob der Benutzername bereits existiert
- 7. boto3 file_upload überprüft, ob die Datei existiert
- 8. Ajax Wie überprüft man, ob der Benutzername bereits existiert?
- 9. Java Wie überprüft man, ob die Datei existiert und öffnet?
- 10. Wie überprüft man, ob eine Datei in Matlab existiert?
- 11. Wie überprüft man, ob eine Datei in Apache Camel existiert?
- 12. pyspark: Wie überprüft man, ob eine Datei in hdfs existiert
- 13. Getting NullPointerException überprüft, ob die Datei existiert
- 14. Wie überprüft man, ob die Hilfsmethode/Variable in rspec existiert?
- 15. Wie überprüft man, ob eine Datei bereits enthalten ist?
- 16. Wie überprüft man, ob eine Klasse existiert
- 17. Wie überprüft man, ob ein Pfad existiert?
- 18. Wie überprüft man, ob eine Memory-Mapped-Datei existiert?
- 19. Wie überprüft man, ob Join nicht existiert?
- 20. Wie überprüft man, ob eine Web-Datei existiert oder nicht?
- 21. Wie überprüft man, ob ein Repo existiert?
- 22. Wie überprüft man, ob ein Registrierungsschlüssel existiert
- 23. Wie überprüft man, ob das Fragment existiert?
- 24. Wie überprüft man, ob das AlbumArt existiert?
- 25. Wie überprüft man, ob die Spalten-Entität in Laravel bereits existiert?
- 26. TCL: Wie überprüft man, ob die Umgebungsvariable bereits gesetzt ist
- 27. Wie man eine Nachricht anzeigt, wenn die Datei bereits existiert
- 28. Wie überprüft require_once "ob die Datei bereits enthalten ist"?
- 29. Wie kann überprüft werden, ob der Ordner bereits existiert?
- 30. Wie überprüft man, ob eine Tabelle in Hive existiert?