http-Anfrage beobachten und die gleiche Anfrage in Code

Question

simulieren Gibt es eine Möglichkeit, eine HTTP-Anfrage im Browser zu beobachten und diese Anfrage zu speichern (Kopfdaten und Parameter) und die gleiche Anfrage im Code zu simulieren?

Ich möchte einen Browser in meinem Projekt "simulieren", um die gleiche Antwort zurück zu erhalten, als ob der Benutzer einen normalen Browser verwendet.

Ich weiß nicht genau, wie man die Frage richtig stellt, aber was ich will, ist die Authentifizierung auf einigen Websites zu simulieren und die gleichen Daten zu kratzen, als wenn ich im Browser war.

Answer 1

Was ich wollte, war eine Website zu kriechen, die mit Authentifizierung gesichert ist, mit einfachen http-Anfragen und erstellen Sie die Anfrage-Header in meinem Code. Und es ging nicht nur darum, eine POST-Anfrage mit Name + Passwort zu verschicken, sondern auch einige andere versteckte Parameter, die beim Besuch der Website generiert werden - auf der Client-Seite mit Javascript. Vielleicht ist es möglich, den Algorithmus hinter der Generierung dieser versteckten Parameter zu verstehen, aber es kann aufgrund der Komplexität sehr lange dauern.

Der beste Weg, um eine Website automatisch zu crawlen, ohne sich um die richtigen Header zu kümmern, ist die Verwendung eines "kopflosen" Browsers, der nichts anderes als ein normaler Browser ohne GUI ist. Sie können es in Ihrem Code steuern. Eine Liste dieser kopflosen Browser finden Sie unter here.

Also keine Notwendigkeit, die Anfrage zu beobachten und aufzuzeichnen und sie im Code zu simulieren - benutzen Sie einfach einen kopflosen Browser.