Ich versuche, Werte aus einer Tabelle zu greifen, aber sie sind nicht im HTML. Sie sind jedoch im HTML, wenn ich sie im Browser überprüfe. Ich vermute, dass sie dynamisch generiert werden, aber wie kann ich sie in Selenium oder anders in Python aufnehmen?Web Scraping mit Python und Selen, weiß nicht, wie man dynamische Daten bekommt
Antwort
Sie können
from selenium import webdriver
import pandas as pd
import time
driver = webdriver.Chrome()
driver.get('https://www.predictit.org/Contract/7422/Will-Trump-veto-Russian-sanctions-bill-by-August-31#prices')
time.sleep(2)
tables = pd.read_html(driver.page_source) # returns list of dataframes
print(len(tables))
print(tables[2]) # this is table with YES
print(tables[3]) # this is the table with NO
wie diese tun Dieser Code nur die Tabellen abruft, aber Sie müssen einige Reinigung tun. Sie können die Dokumente für pandas.DataFrame
Das hat den Trick, sobald ich alle notwendigen Module installiert. Vielen Dank! Ich muss genau nachsehen, was ein "Datenrahmen" genau ist. – svadhisthana
Für den Datensatz müssen Sie auf die Registerkarte Preise klicken, bevor diese Lösung funktioniert. Also, "elem = driver.find_element_by_id ('getPrices') elem.click()" muss im Code sein. – svadhisthana
Die 'URL', die ich geöffnet habe, enthält # Preise. Also muss ich kein Element finden. – ksai
- 1. Python Selen, Scraping dynamische Dropdown
- 2. Python Web Scraping mit Selen und lxml
- 3. Dynamische Tabelle Scraping mit Selen in Python
- 4. Web Scraping mit Selen
- 5. Suchergebnisse nicht ändern URL - Web Scraping mit Python und Selen
- 6. Dynamische Web-Datenbank Scraping in Python
- 7. Python Web Scraping Daten-Val?
- 8. Scraping Webseite mit Selen (Python)
- 9. Scraping von Web-Daten mit Python
- 10. Web Scraping mit Python
- 11. Dynamische ID - Selen, Python. Wie passt man mit und enthält?
- 12. Web Scraping Tabellen mit Python
- 13. Scraping Javascript Text mit Python und Selen
- 14. Web Scraping Api mit Python
- 15. Web Scraping mit BeautifulSoup - Python
- 16. wie Fehler in Selen Python Web Scraping umgehen
- 17. Selen versus BeautifulSoup für Web Scraping
- 18. Python Web Scraping mit BS
- 19. Web Scraping und Python Datentypen
- 20. Web Scraping ~ Python
- 21. Web Scraping mit Python, mit Navigation Controller
- 22. Python Web Scraping Weatherforecast
- 23. Web Scraping, Python und beautifulsoup
- 24. Web-Scraping Newegg - Python
- 25. Web Scraping mit Python und schöne Suppe
- 26. Python Web Scraping Login mit Captcha
- 27. Web Daten Scraping mit Scrapy
- 28. Web Scraping XHR Dynamische Seiten mit Resten und R
- 29. Wie verwende ich Web-Scraping-Daten mit mysql? (Python 2.7)
- 30. Selen Webdriver/Beautifulsoup + Web Scraping + Fehler 416
lesen Sie wollen nur die Tabellen, rechts – ksai