Ich habe while
Schleife innerhalb der parse_page
Funktion, und ich möchte nicht bis zum Erreichen der Grenze bremsen.scrapy Übergabe von Argumenten von einer Funktion zu einem anderen
Ich möchte 3 Argumente von der Funktion parse_page
zu description
übergeben und dann zu description_item
gehen.
Und nach dem Parsen der Funktion description_item
Ich möchte es auf die while
Schleife innerhalb der parse_page
Funktion zurückkehren.
Dies ist Teil meiner Code:
def parse_page(self, response):
item = TestItem()
... # more code here
while i <= len(response.xpath("//script[2]//text()").extract_first()):
# parsing url
parsed = urlparse.urlparse(url)
tranz_type = urlparse.parse_qs(parsed.query)['tranz']
categ_type = urlparse.parse_qs(parsed.query)['categ']
id = js2xml.jsonlike.make_dict(jstree.xpath("//var[@name='ANUNTURI']//property[@name='ID']")[i])
item['url'] = url
item['id'] = id[1]
item['tranz_type'] = tranz_type
item['categ_type'] = categ_type
i += 1
request = Request(response, callback=self.description)
request.meta['id'] = id
request.meta['tranz_type'] = tranz_type
request.meta['categ_type'] = categ_type
#yield item
return request
def description(self, response):
id =response.meta.get('id')
tranz_type =response.meta.get('tranz_type')
categ_type =response.meta.get('categ_type')
data = {'id_anunt': id, 'tranz': tranz_type, 'categ': categ_type, 'mc': '1', 'id_cautare': '0'}
print data
req = FormRequest.from_response(response, url="http://map.imobiliare.ro/map/serv/detalii", formdata=data,
callback=self.description_items)
yield req
def description_item(self, response):
item = TestItem()
item['link'] = json.loads(response.body).get('link')
yield item