Ich muss die gesamte Seite für Elemente crawlen, aber nur einige davon lädt, bis ich nach unten scrollen. Gibt es trotzdem etwas dagegen? Ich kann dies umgehen, indem ich Scroll-to-Bottom-Funktionen ausführe, aber es wäre schön, wenn es eine sauberere Art wäre, dies zu tun.Seite lädt nur beim Scrollen nach unten
Hier ist der Code, um dies zu erreichen. Sie können entweder Stecker gerade in die Konsole oder injizieren es in Ihren Crawler
window.scrollTo(0,document.body.scrollHeight);
Sie dies auch in einer setInterval Funktion wickeln können im Laufe der Zeit zu erhöhen. Heres ein Beispiel dafür:
setInterval(function() {
document.body.scrollTop = document.body.scrollHeight;
}, 50);
EDIT: sorry, verpasste ich den letzten Teil Ihrer Frage, wo Sie erwähnt, dass Sie wissen, dass Sie dies tun können. Mit welcher Art von Crawler arbeiten Sie? Es würde helfen, Ihre Frage zu beantworten. Sehen Sie sich dieses Beispiel an: Scroll Automatically to the Bottom of the Page
Problem ist, ist, dass es nur bis zum Ende der geladenen Seite scrollt, so wenn es nach unten scrollt mehr lädt nur. Ich könnte eine Tonne dieser Funktionen spammen, aber das würde den Crawler viel langsamer machen – Eorsak
Mit den Devtools Ihres Browsers sollten Sie in der Lage sein, die Datenquelle der Elemente zu überprüfen und die Anfrage iterativ an diese Datenquelle zu senden. Es könnte in etwa so aussehen: http://www.example.com/elements?paged=1; http://www.example.com/elements?paged=2; etc – Ceili