Wie kann ein gescrapter HTML-Code vom Quellcode abweichen?

Question

Ich kratze eine Liste von Restaurants von einer Website (mit Erlaubnis) und ich habe ein Problem. Die HTML-Python-Scrabes von der Website unterscheiden sich von den HTML-Code im Quellcode. Weniger als die Hälfte der Restaurants auf ihrer Website sind in Python im HTML gefunden. Dies ist, was mein Code wie folgt aussieht:

import requests 
from bs4 import BeautifulSoup 
from tempfile import TemporaryFile 
import xlwt 

url = 'https://www.example.com' 

r = requests.get(url) 
data = BeautifulSoup(r.text) 
soup = data.find_all('span',{'class':'restaurant_name'}) 
print soup 

Jetzt weiß ich, es ist incovenient, aber ich kann die HTML nicht zeigen, da das Unternehmen mich nicht im Stich lässt. Ich frage mich nur, ob Sie im Allgemeinen wissen, wie das von Python heruntergeladene HTML von dem im Quellcode abweichen kann und was ich dagegen tun kann.

Vielen Dank im Voraus!

Answer 1

Sie können Selenium für diesen Zweck verwenden. Es rendert Ihre Webseite in der Laufzeit genau wie Ihr Browser. Sie können Selenium mit Firefox, Chrome oder Phantomjs verwenden.

Selen

Wir verwenden Selen grundsätzlich vollständig auf unserer Web-Seite zu machen, wie die meisten der Seiten aus Moderne JavaScript-Frameworks gemacht werden. Meistens wird es bei der Entwicklung von Crawlern/Scrappern zum Sammeln von Daten von verschiedenen Seiten einer Website verwendet oder Selenium wird auch in der Web-Automatisierung verwendet.

Mehr über Selenium, lesen Sie es hier http://selenium-python.readthedocs.io/ Auch ich habe Blog-Post auf Slenium für die Anfänger. Überprüfen Sie diese auch http://blog.hassanmehmood.com/creating-your-first-crawler-in-python/

Beispiel

import urllib 
from selenium import webdriver 
from selenium.webdriver.common.keys import Keys 

profile_link = 'http://hassanmehmood.com' 


class TitleScrapper(object): 

    def __init__(self): 

     fp = webdriver.FirefoxProfile() 
     fp.set_preference("browser.startup.homepage_override.mstone", "ignore") #Avoid startup screen 
     fp.set_preference("startup.homepage_welcome_url.additional", "about:blank") 

     self.driver = webdriver.Firefox(firefox_profile=fp) 
     self.driver.set_window_size(1120, 550) 

    def scrape_profile(self): 
     self.driver.get(profile_link) 
     print self.driver.title 
     self.driver.close() 

    def scrape(self): 
     self.scrape_profile() 


if __name__ == '__main__': 
    scraper = TitleScrapper() 
    scraper.scrape() 

Answer 2

In einem Wort, Javascript. Sie laden die grundlegende HTML-Seite herunter, aber Sie sind kein Browser, und Sie laden den JavaScript-Code, den der Browser ausführen würde, nicht herunter und führen ihn nicht aus. Und viele Websites beginnen heutzutage mit einer sehr kleinen HTML-Seite und verwenden Scripting, um zusätzliche Daten dynamisch vom Server zu laden und anzuzeigen.