Python: Auflistung aller URLs einer Website ohne Index

Question

ich jede der folgenden URLs einzeln zugreifen kann: http://www.example.com/{.*}.html

jedoch der Zugriff auf die Hauptseite http://www.example.com irgendwie eingeschränkt, und ich bin auf eine Fehlerseite umgeleitet Anzeige: Erreur 403 - Refus de traitement de la requête (Interdit - Forbidden).

Gibt es eine Möglichkeit, alle URLs der HTML-Seiten aufzulisten, die unter dieser Domain gehostet werden?

Answer 1

zu crawlen. Dank Brian: Ich habe es geschafft, Crawling von einer Liste von zugänglichen HTML-Seiten unter der gehosteten Domain.

# scrap.py 

from scrapy.spiders import CrawlSpider, Rule 
from scrapy.linkextractors import LinkExtractor 

class MySpider(CrawlSpider): 
    name = 'example.com' 
    allowed_domains = ['example.com'] 
    start_urls = [ 
     'http://www.example.com/***.html' # Accessible URL 
    ] 

    rules = (
     Rule(LinkExtractor(allow=('\.html',)), callback='parse_item', follow=True), 
    ) 

    def parse_item(self, response): 
     print response.url 

Und dann:

$ scrapy runspider scrap.py > urls.out 

Answer 2

Die kurze Antwort ist nein. Sie können nicht einfach alle HTML-Seiten in dieser Domäne auflisten, wenn Sie ein Verzeichnis auflisten. Angenommen, die robots.txt-Website der Website ermöglicht es, die Website mit einem Web-Crawling-Modul wie http://scrapy.org/