Kann man mit Pandas HTML-Tabellen über mehrere Webseiten scrappen?

Question

Ich suche nach Möglichkeiten, alle Tabellen auf einer bestimmten Website zu kratzen. Die Tabellen sind in allen Unterseiten identisch formatiert. Das Problem ist, die URLs dieser Unterseiten sind auf diese Weise:
url1 = 'http .../Tom',
url2 = 'http .../Mary',
url3 = ‚http .../Jason ', so dass ich keine Schleife setzen kann, indem ich die URL schrittweise verändere. Gibt es irgendwelche Möglichkeiten, dies durch Pandas zu lösen?

Answer 1

wäre eine andere Idee, erste BeautifulSoup Bibliothek zu verwenden und alle table Elemente von einer Webseite und dann pd.read_html()

Answer 2

bewerbe ich mich, dass die Daten auf jeder Seite davon ausgehen, werden als HTML-table Elemente tatsächlich formatiert und sein kann verarbeitet von Pandas. (Natürlich sind viele Seite zeigt, die wie Tabellen sehen sind HTML nicht table Elemente, sondern auch zu überprüfen.)

der Code dann eine Tabelle zu verarbeiten aussehen könnte dies folgendermaßen aus:

df = pd.read_html(url, header=0)[0] 

oder dies:

df = pd.read_html(url)[0] 

ich gehe davon aus, dass es auf jeder der Seiten nur eine Tabelle von Interesse ist. In der Tat könnten Sie auch feststellen, dass andere Parameter von read_html möglicherweise variiert werden müssen.

Dann wird der vollständige Code würde wie folgt sein:

stub_url = 'http:// ...' 
dfs = [] 
for ending in ['Tom', 'Mary', 'Jason']: 
    one_df = pd.read_html(stub_url + ending, header=0)[0] 
    dfs[ending] = one_df