Python BeautifulSoap Tabelle

Question

meinen HTML hat mehrere Tabellen, die erste Tabelle Schaben ist:

<table> 
    <tr> 
     <td> 
      <div id="string"> 
      </div> 
     </td> 
    </tr> 
</table> 

und der Rest ist von der Form:

<table class="confluenceTable" data-csvtable="1"> 
     <tbody> 
      <tr> 
      <th class="highlight-grey confluenceTh" data-highlight-colour="grey" rowspan="2" style="text-align: center;">Negev</th> 

Ich mag aus den Tabellen Daten kratzen. wenn ich benutze:

from bs4 import BeautifulSoup 
from urllib.request import urlopen 

url = 'XXX' 
soup = BeautifulSoup(urlopen(url).read(), "lxml") 
for table in soup.findAll('table'): 
    print(table) 

es findet nur die erste Tabelle. Wenn ich die Suche zu ändern:

soup.findAll("table", { "class" : "confluenceTable" }) 

es findet nichts. Was vermisse ich?

mit Python 3.4 auf Windows mit BeautifulSoap 4,5

Answer 1

Ich vermute, dass Sie versuchen, eine Atlassian Confluence Seite zu kratzen, die in der Regel sehr dynamisch ist und die Verwendung von JavaScript macht intensiv um die Seite zu laden. Wenn Sie in die HTML-Quelle schauen, die Sie mit urllib herunterladen, würden Sie table Elemente mit confluenceTable Klasse nicht finden.

Stattdessen sollten Sie entweder Confluence API verwenden oder ein Browser-Automatisierungstool wie selenium verwenden.