Wie kann ich wget verwenden, um Dateien mit scrapy

Question

scrapy herunterladen Dateien nicht ordnungsgemäß herunterladen. Ich habe URLs meiner Artikel, daher dachte ich mir, dass ich wget verwenden kann, um die Dateien herunterzuladen.

Wie kann ich wget innerhalb der scrapy process_item Funktion verwenden? Gibt es alternativ eine andere Möglichkeit, Dateien herunterzuladen?

class MyImagesPipeline(ImagesPipeline): 
    #Name download version 
    def image_key(self, url): 
     image_guid = url.split('/')[-1] 
     return 'full/%s' % (image_guid) 

    def get_media_requests(self, item, info): 
     if item['image_urls']: 
      for image_url in item['image_urls']: 
      # wget -nH image_ul -P images/ 
      yield Request(image_url) 

Answer 1

Dieser Code wget ausgeführt wird, können Sie Ihren Kommentar mit den folgenden Zeilen

import subprocess 

    ... 

subprocess.call(['wget','-nH', image_url, '-P images/']) 

Sie über subprocess.call lesen können hier ersetzen: http://docs.python.org/2/library/subprocess.html