Ich habe einen Crawler ohne Probleme laufen, aber ich muss die start_url und nicht die umgeleitet bekommen.Scrapy erhalten Pre-Redirect-URL
Das Problem ist, ich verwende Regeln, um Parameter an die URL (wie field-keywords = xxxxx) zu übergeben und schließlich die richtige URL zu bekommen.
Die Parsing-Funktion beginnt immer das Element ohne Probleme Attribute, aber wenn ich die Start-URL (die wahre) wollen speichert es die eine umgeleitet ...
Ich habe versucht habe:
response.url
response.request.meta.get('redirect_urls')
Beide geben die letzte URL (die umgeleitete URL) und nicht die start_url zurück.
Einige wissen, warum, oder hat eine Ahnung?
Vielen Dank im Voraus.