Verwenden Python Scrapy zum Verschrotten der nächsten Seite Kommentare

Question

Ich benutze Python Scrapy, um den Benutzer Kommentare Kommentare zu bekommen, die mehrere Seiten haben kann und ich muss auf "Mehr" klicken, um weitere Kommentare zu sehen.

dies ist der Link zu der Seite, die ich kriechen will: https://en.drivy.com/car-rental/berlin/dacia-dokker-218119

Ich stellt fest, wenn die Überprüfung von mehr als 10 Kommentare, ich brauche Link, um „mehr anzeigen“ klicken, um die nachfolgenden Kommentare zu erhalten. Ich bemerke auch die "mehr sehen" URL-Link https: //en.drivy.com/cars/218119/reviews?page=2 & rel = next

Wenn ich jedoch scrapy verwenden, um die https zu gehen : //en.drivy.com/cars/218119/reviews?page=2 & rel = nächste, die Website leitet mich zurück zu https: // de.drivy.com/car-rental/berlin/dacia-dokker-218119 was ich nicht wirklich die nächsten zehn Kommentare bekommen kann. (Ich frage mich, ob die Website Cookie oder Session-ID verwenden und meine scrapy als neuen Besuch identifizieren)

Ich weiß, ich kann Python Selen verwenden, um die Webseite zu öffnen und klicken Sie auf "Mehr sehen", um die Kommentare zu erhalten, jedoch Selen ist sehr langsam und ich wünschte, ich könnte stattdessen Scrapy benutzen.

Könnte mir jemand dabei helfen? oder gib mir wenigstens eine Richtung, um fortzufahren? Danke im Voraus.

Answer 1

Sie sollten "Accept: */*;q=0.5, text/javascript, application/javascript, application/ecmascript, application/x-ecmascript" Header festlegen. Sie fangen ein JS-Objekt ein, das Texte von Kommentaren enthält.

yield Request("https://en.drivy.com/cars/218119/reviews?page=2&rel=next", parse = ..., ..., headers={'Accept': "*/*;q=0.5, text/javascript, application/javascript, application/ecmascript, application/x-ecmascript"})