Flexible Web Crawler

Question

Ich bin für den Moment mit meinem Web-Crawler stecken geblieben. Der Code, bis jetzt ist:

import requests 
from bs4 import BeautifulSoup 

def search_spider(max_pages): 
    page = 1 
    while page <= max_pages: 
     url = 'https://www.thenewboston.com/search.php?type=1&sort=pop&page=' + str(page) 
     source_code = requests.get(url) 
     plain_text = source_code.text 
     soup = BeautifulSoup(plain_text, "html.parser") 
     for link in soup.findAll('a', {'class': 'user-name'}): 
      href = "https://www.thenewboston.com/" + link.get('href') 
      print(href) 
search_spider() 

Dies ist ein Beispiel von einem YT-Tutorial. Wer weiß, wie ich den Code ändern muss, wenn ich keine Website-Endungen wie 1,2,3 habe ... aber verschiedene Nummern wie 021587, 0874519, NI875121? Die Domäne der anker Website ist immer die gleiche, aber die Endung ist nicht direkt wie in diesem Beispiel. Also was ich wissen müsste ist, wie man eine Variable für str (Seite), die die Endung der Website entweder aus einer .txt-Datei auf meinem Computer (ein paar hundert) oder aus einer Liste, wenn ich sie kopiere und in meine einfügen Code? Sicherlich sollte Python aufhören, wenn das Ende der Liste erreicht ist.

Wie ich zu Python weiß, weiß ich nicht, wie man dieses Problem im Moment löst. Wenn Sie weitere Informationen benötigen, lassen Sie es mich wissen. Schätze deine Antworten!

Flo

Answer 1

Nun, wenn Sie eine Liste von Seiten, die Sie eher als eine Reihe von Zahlen besuchen möchten, können Sie so etwas wie tun könnten:

pages = ['021587', '0874519', 'NI875121'] 

for page in pages: 
    url = 'http://example.com/some-path/' + str(page) 

aus einer Datei zu lesen:

with open('filename.txt') as f: 
    contents = f.read() 

Unter der Annahme, dass Ihre Seiten durch Leerzeichen getrennt sind, können Sie dann laufen

pages = contents.split() 

Schauen Sie sich die documentation for str.split()