scraping den Text aus dem Quellcode mit Python

Question

Ich versuche Google Suchergebnisse mit Python und Selen zu kratzen. Ich kann nur das erste Suchergebnis erhalten. Hier ist der Code, den ich verwende.

 driver.get(url) 
     res = driver.find_elements_by_css_selector('div.g') 
     link = res[0].find_element_by_tag_name("a") 
     href = link.get_attribute("href") 

Wie kann ich alle Suchergebnisse erhalten?

Answer 1

Try Linkliste (nur von der ersten Seite Wenn Sie mehr Seiten kratzen müssen, müssen Sie Schaltfläche „Weiter“ in einer Schleife klicken und Ergebnisse aus folgenden Seiten anhängen.) Erhalten, wie unten:

href = [link.get_attribute("href") for link in driver.find_elements_by_css_selector('div.g a')] 

PS Sie könnten auch Lösungen von this question verwenden, um Ergebnisse als GET-Anfrage Antwort mit requests lib