Ich habe Spinne, die ich mit dem Scrapy-Framework geschrieben habe. Ich habe Probleme, Pipelines zur Arbeit zu bringen. Ich habe den folgenden Code in meinem pipelines.py:Kann Scrapy-Pipeline nicht funktionieren
class FilePipeline(object):
def __init__(self):
self.file = open('items.txt', 'wb')
def process_item(self, item, spider):
line = item['title'] + '\n'
self.file.write(line)
return item
und meine CrawlSpider Unterklasse hat diese Zeile die Pipeline für diese Klasse zu aktivieren.
ITEM_PIPELINES = [
'event.pipelines.FilePipeline'
]
aber wenn ich laufe es
mitscrapy crawl my_spider
ich eine Linie, die
2010-11-03 20:24:06+0000 [scrapy] DEBUG: Enabled item pipelines:
ohne Pipelines sagt (ich nehme an, dies ist, wo die Protokollierung ausgeben sollte ihnen).
Ich habe versucht, durch die Dokumentation zu suchen, aber es scheint keine vollständigen Beispiele für ein ganzes Projekt zu geben, um zu sehen, ob ich etwas verpasst habe.
Irgendwelche Vorschläge, was als nächstes zu versuchen? oder wo man nach weiterer Dokumentation suchen kann?
Haben Sie diesen Projektcode in github gehostet? – Medeiros
Nein, mein Klient hat es vielleicht irgendwo hingelegt, aber nicht mein Platz, um es zu öffnen, fürchte ich. –
Ich musste ITEM_PIPELINES als Diktat anstelle einer Liste in der Einstellungsdatei verwenden –