Scrapy nur Cache Images

Question

Ich dachte, ich habe eine Lösung mit RFC2616-Richtlinie gefunden, aber beim Testen der Scraper-Ausführungszeit scheint es immer noch dasselbe zu sagen. Also ging ich zurück zur Standardrichtlinie.

Ich Regie meine image_urls zu

'production.pipelines.MyImagesPipeline' 

Jetzt muss ich nur die die URLs cachen i

Nun zu den Artikel image_urls senden aus meinem Verständnis die Richtlinie durch die Angabe

überschreiben können

class DummyPolicy(object): 

def should_cache_response(self, response, request): 
    if image_url in item['image_urls']: 
     return True 
    else: 
     return False 


def is_cached_response_valid(self, cachedresponse, response, request): 
    return True 

Irgendwelche Codevorschläge, damit dieses funktioniert?

Answer 1

habe ich eine Lösung, die durch die Meta dont_cache auf bestimmte Ausbeute Anfragen Zugabe:

yield scrapy.Request(url, self.parse, meta={'dont_cache': True})