Kratzen Sie die aktuell geöffnete Webseite oder erhalten Sie Live-HTML mit einer anderen Methode?

Question

Ich brauche ein wenig Daten von einem HTML-Tag, das nur erscheint, wenn Sie in einer Site angemeldet sind. Ich muss es in Python oder Javascript tun. Javascript hat die Cross-Origin-Browser-Policy (CORS) als Hindernis.

Ich kann serverseitigen Code nicht verwenden. Ich kann keine iframes verwenden.

Die Daten sind leicht verfügbar, wenn Sie die Seiten-URL in Chrome oder FireFox öffnen, da Sie sich wie Facebook anmelden, also werden wir es als Beispiel verwenden. Wir werden sagen, dass ich die Daten aus dem ersten Element meines Facebook News Feeds erhalten möchte.

Ich habe versucht, die Webseite zu scrappen und den Benutzer-Agent-Wert mit Pythons Urllib-Modul übergeben. Ich habe versucht, Yahoos YQL-Tool mit Javascript zu verwenden. Beide haben den gewünschten HTML-Code ohne die benötigten Werte zurückgegeben. Dies liegt daran, dass es nicht meine Browser verwendet, um die erforderlichen Werte zu speichern.

Gibt es eine Möglichkeit, eine bereits geöffnete Webseite zu scrappen? Angenommen, ich habe Facebook geöffnet und Code ausgeführt, der meine News Feed-Daten vom Browser erhalten hat.

Gibt es eine andere Methode, die ich nicht erwähnt habe, um dies zu erreichen?

Hintergrund: Ich erstelle eine Autobumpper für ein Forum (innerhalb der Site-Regeln) und brauche einige generierte Werte aus der Website HTML, aber wird keine Zusammenarbeit in diesem Sinne vom Eigentümer erhalten.

Answer 1

Sie können versuchen, mit Python Selenic Webdriver, wie Sie sich anmelden und HTML-Quelle erhalten können.

müssen Sie Selen ersten pip installieren und die chromedriver.exe von Selen Website http://docs.seleniumhq.org/

hier downloaden ist ein Beispielcode i auf gmail verwenden:

from selenium import webdriver 

#you have to download the chromedriver from selenium hq homepage 
chromedriver_path = r'your chromedriver.exe path here' 
#create webdriver object and get url 
driver = webdriver.Chrome(chromedriver_path) 
driver.implicitly_wait(1) 
driver.get('https://www.google.com/gmail') 

#login 
driver.find_element_by_css_selector('#Email').send_keys('email@gmail.com') 
driver.find_element_by_css_selector('#next').click() 
driver.find_element_by_css_selector('#Passwd').send_keys('1234') 
driver.find_element_by_css_selector('#signIn').click() 


#get html 
html = driver.page_source