Scraping-Websites, die Anmeldung mit Python benötigen

Question

Ich verwende mehrere Werbenetzwerke für meine Websites, und um zu sehen, wie viel Geld ich gemacht habe, muss ich mich jeden Tag anmelden, um die Werte zu addieren. Ich dachte daran, ein Python-Skript zu erstellen, das das für mich machen würde, um eine schnelle Summe zu erhalten. Ich weiß, dass ich eine POST-Anfrage machen muss, um mich anzumelden, dann speichere ich die Cookies, die ich zurückbekomme, und fordere dann GET die Berichtsseite an, während ich diese Cookies übergebe.

Was ist die bequemste Art, in Python zu replizieren, was ich mache, wenn ich die Seiten manuell durchsuche?

Answer 1

Sehen Sie, wenn diese Arbeit für Sie:

http://stockrt.github.com/p/emulating-a-browser-in-python-with-mechanize/

Answer 2

cookielib tut clientseitige Cookie Handhabung und mechanize erhöht sie auf verschiedene Weise - auch eine Möglichkeit, eine Keksdose zu initialisieren durch das Lesen der Cookies ein Internet Explorer-Cache (wenn Sie sich also unter Windows einmal manuell bei jedem Standort anmelden können, können Sie für zukünftige Anmeldungen, die auf denselben Cookies basieren, cookielib oder mechanize verwenden, bis diese natürlich ablaufen.)

Answer 3

keine Python-Lösung, aber in Betracht ziehen, ein Browser-Automatisierungstool wie Chickenfoot zu verwenden.