Wie scrappe ich eine Website, die eine Anmeldung mit Python und BeautifulSoup erfordert?

Question

Wenn ich eine Website, die Login mit Passwort erfordert zuerst kratzen, wie kann ich beginnen, es mit Python mit BeautifulSoup4-Bibliothek scraping? Unten ist, was ich für Websites tun, die keine Anmeldung erfordern.

from bs4 import BeautifulSoup  
import urllib2 
url = urllib2.urlopen("http://www.python.org")  
content = url.read()  
soup = BeautifulSoup(content) 

Wie sollte der Code geändert werden, um die Anmeldung zu ermöglichen? Angenommen, die Website, die ich scrappen möchte, ist ein Forum, das eine Anmeldung erfordert. Ein Beispiel dafür ist http://forum.arduino.cc/index.php

Answer 1

Sie mechanize verwenden können:

import mechanize 
from bs4 import BeautifulSoup 
import urllib2 
import cookielib 

cj = cookielib.CookieJar() 
br = mechanize.Browser() 
br.set_cookiejar(cj) 
br.open("https://id.arduino.cc/auth/login/") 

br.select_form(nr=0) 
br.form['username'] = 'username' 
br.form['password'] = 'password.' 
br.submit() 

print br.response().read() 

Oder urllib - Login to website using urllib2

Answer 2

Sie Selen können sich anmelden und die Seite Quelle abzurufen, die Sie dann auf schöne Suppe passieren kann extrahiere die gewünschten Daten.