Abrufen von Netzwerkprotokollen mit Python

Question

Wenn eine Seite geladen wird, sendet es im Allgemeinen mehrere Anforderungen, die in der Registerkarte Netzwerk in Chrome Developer Tools aufgezeichnet werden können.

Mein Hauptmotiv ist es, alle Netzwerkanforderungen zu protokollieren, wenn die Seite mit Python-Skript geladen wird. Ein Beispielbildschirm ist beigefügt, um zu veranschaulichen, welche Anfrage ich sammeln möchte.

Image for Network Hit Logs

Ich versuche, das gleiche mit urllib Bibliothek in Python, aber zu erreichen, ich bin nicht ganz sicher, der Nutzung.

Wir freuen uns auf Ihre Antworten. Danke im Voraus.

Answer 1

Sie können dies nicht mit der urllib-Familie von Bibliotheken tun. Um AJAX-Anfragen zu erfassen, müssen Sie etwas verwenden, das Javascript unterstützt ... wie einen Browser.

So ist die beste Option in diesem Fall Selenium zu verwenden, um ein Skript zu schreiben, das den Selenium Web Driver verwendet, um den von Ihnen verwendeten Browser zu steuern und dann die AJAX-Anforderungen zu erfassen/zu protokollieren.