scrapy-pipeline

1Hitze

1Antwort

Ich habe folgendes Scrapy Parse-Methode: def parse(self, response): item_loader = ItemLoader(item=MyItem(), response=response) for url in response.xpath('//img/@src').extract(): ite

0Hitze

1Antwort

Bildinhalt zurücksenden von Scrapy-Splash

Ich verwende Scrapy-Splash-Anfragen, um einen gerenderten Screenshot einer Seite zu erhalten, aber ich brauche auch die Bilder auf dieser Seite. Ich benutze die Pipelines, um diese Bilder herunterzula

1Hitze

1Antwort

Scrapy Pipelines zu separaten Ordner/Dateien - Abstraktion

Ich derzeit ein Scrapy-Projekt abgeschlossen, aber ich habe eine ziemlich lange pipelines.py Datei. Ich bemerkte, dass in meinen settings.py die Rohrleitungen zeigen sich wie folgt dar (abgespeckte):

1Hitze

2Antwort

Scrapy-Datei herunterladen, wie benutzerdefinierte Dateinamen verwenden

Für meine scrapy Projekt verwende ich derzeit die FilesPipeline. Die heruntergeladenen Dateien werden mit einem SHA1-Hash ihrer URLs als Dateinamen gespeichert. [(True, {'checksum': '2b00042f7481

0Hitze

2Antwort

Wie Daten mit Scrapy abrufen?

Ich arbeite an einem Django-Projekt und möchte einige Neuigkeiten auf der Homepage veröffentlichen. Ich habe vor kurzem mit scrapy interagiert, wenn ich Code mit "scarpy shell" liefere, kann dieser Co

-1Hitze

1Antwort

Warum in Scrapy scrapped Text ist als String in Spider, aber als Liste in der Pipeline?

Kann mir bitte jemand das erklären? In meiner Spinne habe ich Code zum Extrahieren von Daten mit XPath. price_euro = add.xpath('.//strong[@class="price price--eur"]/text()').extract_first() print 'pr

0Hitze

1Antwort

Python + Scrapy Umbenennung heruntergeladenen Bilder

WICHTIGER HINWEIS: alle Antworten im Moment auf Stackoverflow sind in früheren Versionen von Scrapy und nicht mit der neuesten Version von scrapy 1.4 Völlig neue Arbeit Scrapy und Python, ich versuche

0Hitze

2Antwort

Kann leere URL durch Scrapy-Pipeline nicht übergeben

Ich habe eine Liste von Datenobjekten, von denen jedes eine URL enthält, die geschabt werden soll. Einige dieser URLs sind nicht gültig, aber ich möchte immer noch, dass das Datenobjekt durchläuft, um

0Hitze

2Antwort

Scrapy Pipeline fügt nicht in MySQL ein

Ich versuche eine kleine App für ein Universitätsprojekt mit Scrapy zu bauen. Die Spinne kratzt die Elemente, aber meine Pipeline fügt keine Daten in die MySQL-Datenbank ein. Um herauszufinden, ob die

0Hitze

2Antwort

Scraping mehrere Tabellen und Speichern jeder Tabelle Kopfzeile als Zeilen in csv

Ich versuche, mehrere Tabellen zu kratzen, die einen Tabellennamen unter einem h3-Tag gespeichert haben. Es gibt Spalten von Daten, die ich nicht kratzen kann, und wenn ich die nächste URL füttere, ka