Daten/Web Scraping: Ergebnisse pro Seite ändern

Question

Ist es möglich, "zurückgegebene Ergebnisse pro Seite" außerhalb der angegebenen wählbaren Grenzen zu manipulieren?

Zum Beispiel diesen Link:

http://www.autotrader.com/cars-for-sale/Beverly+Hills+CA-90210?zip=90210&showcaseOwnerId=68687451&startYear=1981&numRecords=100&firstRecord=0&endYear=2017&searchRadius=50

Ich kann manuell ändern numRecords (numRecords=100) in der URL zu einer beliebigen Anzahl, die in der Dropdown-Liste wählbar ist, aber alles andere als die voreingestellten Optionen keine Auswirkungen haben.

Gibt es einen Weg, um Einfluss zu nehmen? Ich versuche, jedes Ergebnis auf einer einzelnen Seite anzuzeigen, also muss ich beim Scraping nur eine einzelne Seite scrappen und muss nicht programmatisch auf vielen Seiten navigieren. Ist das möglich?

Answer 1

In diesem Fall, Nein;

Diese Seite erhält die Nummer des Fahrzeugs, das in der GET-Anfrage angezeigt werden soll (daher die &numRecords=100 dort url).

Ich habe versucht, einen anderen Wert als die 4 Dropdown-Optionen zu senden, aber es ist dasselbe, dass jedes Ding neben der vordefinierten Auswahl von der Serverseite ignoriert wird. also denke ich, dass Sie eine GET-Anfrage für jede Seite senden müssen.

Um dies zu tun, erhöhen Sie einfach &firstRecord um 100 für jede Anfrage, bis Sie die letzte Seite erreichen.