Mehrere Seiten mit BeautifulSoup verschaben

Question

Ich möchte mit Python und BeautifulSoup4 mehrere Seiten einer Website durchblättern. Die Seiten unterscheiden sich nur durch eine einzige Nummer in der URL, so konnte ich tatsächlich eine Erklärung wie diese machen:

Und mein Python-Skript ist this:

theurl = "beginningofurl/" + str(counter) + "/endofurl.html" 

Der Link, den ich mit diesem ist die Prüfung habe .

import urllib 
import urllib.request 
from bs4 import BeautifulSoup 


def category_crawler(): 
    ''' This function will crawl through an entire category, regardless how many pages it consists of. ''' 

    pager = 1 

    while pager < 11: 
     theurl = "http://www.worldofquotes.com/topic/Nature/"+str(pager)+"/index.html" 
     thepage = urllib.request.urlopen(theurl) 
     soup = BeautifulSoup(thepage, "html.parser") 

     for link in soup.findAll('blockquote'): 
      sanitized = link.find('p').text.strip() 
      spantext = link.find('a') 
      writer = spantext.find('span').text 
      print(sanitized) 
      print(writer) 
      print('---------------------------------------------------------') 


     pager += 1 

category_crawler() 

Die Frage ist also: Wie kann die hartcodierte Nummer in der while-Schleife in eine Lösung ändern, dass das Skript automatisch erkennen lässt, dass es die letzte Seite übergeben, und dann verlässt es automatisch?

Answer 1

Die Idee ist, eine Endlosschleife haben und sie brechen, wenn Sie die nicht auf der Seite „Pfeil nach rechts“ Element haben was bedeuten würde, Sie auf der letzten Seite sind, einfach und ganz logisch:

import requests 
from bs4 import BeautifulSoup 


page = 1 
url = "http://www.worldofquotes.com/topic/Nature/{page}/index.html" 
with requests.Session() as session: 
    while True: 
     response = session.get(url.format(page=page)) 
     soup = BeautifulSoup(response.content, "html.parser") 

     # TODO: parse the page and collect the results 

     if soup.find(class_="icon-arrow-right") is None: 
      break # last page 

     page += 1 

Answer 2

Versuchen Sie mit requests (Vermeidung von Umleitungen) und prüfen Sie, ob Sie neue Angebote erhalten.

import requests 
from bs4 import BeautifulSoup 


def category_crawler(): 
    ''' This function will crawl through an entire category, regardless how many pages it consists of. ''' 

    pager = 1 

    while pager < 11: 
     theurl = "http://www.worldofquotes.com/topic/Art/"+str(pager)+"/index.html" 
     thepage = requests.get(theurl, allow_redirects=False).text 
     soup = BeautifulSoup(thepage, "html.parser") 

     for link in soup.find_all('blockquote'): 
      sanitized = link.find('p').text.strip() 
      spantext = link.find('a') 
      writer = spantext.find('span').text 
      if not sanitized: 
       break 
      print(sanitized) 
      print(writer) 
      print('---------------------------------------------------------') 


     pager += 1 

category_crawler() 

Answer 3

Hier ist mein Versuch.

Kleinere Ausgabe: Setzen Sie einen try-except Block in den Code für den Fall, dass die Umleitung Sie irgendwo hinführt, die nicht existiert.

Nun, das Hauptproblem: Wie zu vermeiden Parsing Zeug Sie schon geparst. Notieren Sie URLs, die Sie analysiert haben. Dann erkennen, ob die aktuelle URL von der Seite urllib liest (mit der geturl() Methode von thepage) wurde bereits gelesen. Arbeitete auf meinem Mac OSX-Rechner.

Hinweis: Es gibt 10 Seiten insgesamt, was ich von der Website sehe und diese Methode erfordert keine Vorkenntnisse über die HTML-Seite der Seite - es funktioniert im Allgemeinen.

import urllib 
import urllib.request 
from bs4 import BeautifulSoup 


def category_crawler(): 
    ''' This function will crawl through an entire category, regardless how many pages it consists of. ''' 
    urlarchive = []; 
    pager = 1 
    while True: 
     theurl = "http://www.worldofquotes.com/topic/Nature/"+str(pager)+"/index.html" 
     thepage = None; 
     try: 
      thepage = urllib.request.urlopen(theurl) 
      if thepage.geturl() in urlarchive: 
       break; 
      else: 
       urlarchive.append(thepage.geturl()); 
       print(pager); 
     except: 
      break; 
     soup = BeautifulSoup(thepage, "html.parser") 

     for link in soup.findAll('blockquote'): 
      sanitized = link.find('p').text.strip() 
      spantext = link.find('a') 
      writer = spantext.find('span').text 
      print(sanitized) 
      print(writer) 
      print('---------------------------------------------------------') 


     pager += 1 

category_crawler()