Web Scraping Python mit Google Chrome-Erweiterung

Hallo, ich bin ein Python-Neuling und ich bin webscraping eine Webseite.Web Scraping Python mit Google Chrome-Erweiterung

Ich verwende die Google Chrome Developer Extension zur Identifizierung der Klasse der Objekte, die ich scrappen möchte. Mein Code gibt jedoch eine leere Reihe von Ergebnissen zurück, während die Screenshots deutlich zeigen, dass diese Zeichenfolgen im HTML-Code enthalten sind. Chrome Developer

import requests 
from bs4 import BeautifulSoup 

    url = 'http://www.momondo.de/flightsearch/?Search=true&TripType=2&SegNo=2&SO0=BOS&SD0=LON&SDP0=07-09-2016&SO1=LON&SD1=BOS&SDP1=12-09-2016&AD=1&TK=ECO&DO=false&NA=false' 
    html = requests.get(url) 
    soup = BeautifulSoup(html.text,"lxml") 
    x = soup.find_all("span", {"class":"value"}) 
    print(x) 
    #pprint.pprint (soup.div)

ich sehr bin zu schätzen Ihre Hilfe!

Vielen Dank!

Quelle

2016-08-23 Fabian

Stellen Sie sicher, dass die Daten, die Sie erwarten, tatsächlich da ist. Verwenden Sie '' '' print (soup.prettify()) '' ', um zu sehen, was tatsächlich von der Anfrage zurückgegeben wurde. Abhängig davon, wie die Website funktioniert, können die gesuchten Daten möglicherweise nur im Browser vorhanden sein, nachdem das JavaScript verarbeitet wurde. Vielleicht möchten Sie auch Selen betrachten – WombatPM

Umbau meines Kommentars zu einer Antwort ...

Achten Sie darauf, die Daten, die Sie tatsächlich dort erwarten ist. Verwenden Sie print(soup.prettify()), um zu sehen, was tatsächlich von der Anfrage zurückgegeben wurde. Abhängig davon, wie die Website funktioniert, können die gesuchten Daten möglicherweise nur im Browser vorhanden sein, nachdem das JavaScript verarbeitet wurde. Vielleicht möchten Sie auch einen Blick auf selenium

Quelle

2016-08-23 15:09:24 WombatPM

Web Scraping Python mit Google Chrome-Erweiterung

Antwort

Verwandte Themen