Schöne Suppe findAll findet sie nicht alle

Question

Ich versuche, eine Website zu analysieren und einige Informationen mit BeautifulSoup.findAll zu bekommen, aber es hat sie alle nicht finden .. Ich verwende python3

der Code diese

#!/usr/bin/python3 

from bs4 import BeautifulSoup 
from urllib.request import urlopen 

page = urlopen ("http://mangafox.me/directory/") 
# print (page.read()) 
soup = BeautifulSoup (page.read()) 

manga_img = soup.findAll ('a', {'class' : 'manga_img'}, limit=None) 

for manga in manga_img: 
    print (manga['href']) 

druckt er nur die Hälfte von ihnen ...

Answer 1

Verschiedene HTML-Parser viel anders mit gebrochenen HTML. Die Seite dient gebrochen HTML und der lxml Parser ist nicht sehr gut mit ihm zu tun:

>>> import requests 
>>> from bs4 import BeautifulSoup 
>>> r = requests.get('http://mangafox.me/directory/') 
>>> soup = BeautifulSoup(r.text, 'lxml') 
>>> len(soup.findAll('a', {'class' : 'manga_img'})) 
18 

der Standardbibliothek html.parser weniger Probleme mit dieser speziellen Seite hat:

>>> soup = BeautifulSoup(r.text, 'html.parser') 
>>> len(soup.findAll('a', {'class' : 'manga_img'})) 
44 

dass Ihren spezifischen Code übersetzen Probe mit urllib, würden Sie den Parser so angeben:

soup = BeautifulSoup(page.read(), 'html.parser')