Wie kann ich den Crawler stoppen, wenn ich beim letzten Mal eine bestimmte URL gecrawlt habe?

Question

Ich mache einen Crawler, um kürzlich hinzugefügte Youtube-Videos herauszufinden Ich möchte meinen Crawler stoppen, wenn er altes Video erreicht (in der vorherigen Runde gecrawlt). Ich benutze keine scrapy und beautifulsoup Ich benutze Python-Bibliotheken. Bitte schlagen Sie mir eine beliebige Option

Answer 1

wird nicht einfach zu überprüfen und die Arbeit übergeben?

if video in list_of_crawled_videos: 
    pass 
else: 
    list_of_crawled_videos.append(video)