scrape HTML generiert von Javascript mit Python

Question

Ich muss eine Seite mit Python zu kratzen. Ich erhalte den Quell-HTML-Code mit dem Urlib-Modul, aber ich muss auch etwas HTML-Code scrappen, der von einer JavaScript-Funktion erzeugt wird (die in der HTML-Quelle enthalten ist). Was diese Funktion tut, ist "in" der Site, dass wenn Sie eine Taste drücken, gibt es etwas HTML-Code aus. Wie kann ich diesen Knopf mit Python-Code "drücken"? Kann mir scrapy helfen? Ich habe die POST-Anfrage mit Firebug erfasst, aber wenn ich versuche, sie auf der URL zu übergeben, erhalte ich einen 403-Fehler. Irgendwelche Vorschläge?

Answer 1

In Python glaube ich Selenium 1.0 ist der Weg zu gehen. Es ist eine Bibliothek, mit der Sie einen echten Webbrowser in Ihrer Sprache steuern können.

Sie müssen den fraglichen Webbrowser auf dem Computer installiert haben, auf dem Ihr Skript ausgeführt wird, aber es scheint die zuverlässigste Methode zu sein, Websites mit viel JavaScript programmatisch abzufragen.

Answer 2

Ich musste dies vorher tun (in. NET) und Sie müssen im Grunde einen Browser hosten, um es auf die Schaltfläche klicken, und dann das DOM (Dokumentobjektmodell) des Browsers abfragen zu bekommen am generierten HTML.

Dies ist definitiv einer der Nachteile von Web-Apps, die sich auf einen Ajax/Javascript-Ansatz zum Generieren von HTML-Client-Seite hin bewegen.

Answer 3

Ich verwende Webkit, das ist der Browser-Renderer hinter Chrome und Safari. Es gibt Python bindings to webkit through Qt. Und hier ist ein voller example to execute JavaScript and extract the final HTML.

Answer 4

Für Scrapy (große Python Scraping-Framework) gibt es scrapyjs: eine zusätzliche Downloader-Handler/Middleware-Handler in der Lage, javascript-generierten Inhalt scraping.

Es basiert auf Webkit-Engine von Pygtk, Python-Webkit und Python-Jswebkit und es ist ziemlich einfach.

Answer 5

Da gibt es keine umfassende Antwort hier, ich werde weitermachen und einen schreiben.

abkratzen JS gerenderten Seiten, werden wir einen Browser benötigen, die eine JavaScript-Engine (ei, der JavaScript unterstützt Rendering)

Optionen wie Mechanize, url2lib wird nicht funktionieren, da sie nicht hat DO unterstütze JavaScript.

Also hier ist was Sie tun:

Setup-PhantomJS mit Selenium auszuführen. Nach der Installation der Abhängigkeiten für beide (siehe this) können Sie den folgenden Code als Beispiel verwenden, um die vollständig gerenderte Website abzurufen.

from selenium import webdriver 

driver = webdriver.PhantomJS() 
driver.get('http://jokes.cc.com/') 
soupFromJokesCC = BeautifulSoup(driver.page_source) #page_source fetches page after rendering is complete 
driver.save_screenshot('screen.png') # save a screenshot to disk 

driver.quit()