Daten von 2 Seiten als ein Artikel

Question

Ich crawle eine Website mit Produkten die Währung, dass Produktpreis angezeigt wird, ist es über die URL /en-GB/ für GBP und /en-AU/ für AUD mein Kunde beide Preise in einem Element.

Ich möchte in der Lage sein, Pipelines zu verwenden, um es in ihre DB zu setzen, so dass es danach nicht kombinierbar ist. Ist das überhaupt mit Scrapy?

Answer 1

http://doc.scrapy.org/en/latest/topics/request-response.html#passing-additional-data-to-callback-functions

def parse_page1(self, response): 
    item = MyItem() 
    item['price_GBP'] = response.xpath("//foo/bar").extract_first() 
    request = scrapy.Request("http://www.example.com/en-AU/", 
          callback=self.parse_page2) 
    request.meta['item'] = item 
    yield request 

def parse_page2(self, response): 
    item = response.meta['item'] 
    item['price_AUD'] = response.xpath("//foo/bar").extract_first() 
    yield item