Scrapy, um eine Warnmeldung mit Formularauthentifizierung zu umgehen

Question

Kann Scrapy eine Warnmeldung crawlen?

Der Link zum Beispiel http://domainhere/admin, sobald in einem aktuellen Browser geladen, eine Warnmeldung mit Formular vorhanden ist, um den Benutzernamen und das Passwort zu füllen.

Oder gibt es eine Möglichkeit, das Formular in einer Warnmeldung zu überprüfen, welche Parameter zu füllen sind?

PS: Ich habe Anmeldeinformationen für diese Website, ich möchte nur Prozesse durch Webcrawlen automatisieren.

Danke.

Answer 1

Was ich dies erreicht hatte, war indem Sie folgendermaßen vorgehen:

1. Beobachtet, was nach der Authentifizierung Daten mit der Seite fortzufahren benötigt.
2. Mit dem Entwicklerwerkzeug von Chrome auf der Registerkarte "Netzwerk" habe ich die Anforderungsheader überprüft. Nach der Beobachtung ist eine Autorisierung erforderlich.
3. Um Schritt # 2 zu überprüfen, habe ich Postman verwendet. Wenn Sie den Authorization-Befehl in Postman, Basic Auth, verwenden, wird beim Auffüllen des Benutzernamens und des Kennworts derselbe Wert für den Authorization-Header generiert. Nach dem Senden einer POST-Anforderung wurde die gewünschte Seite geladen und die Authentifizierung umgangen.
4. Verwenden Sie denselben Wert für die Autorisierung unter Anforderungsheader, und speichern Sie den Wert in der Scraper-Klasse.
5. Verwenden Sie die scrapy.Request-Funktion mit Header-Parametern.

Code:

import scrapy 

class TestScraper(scrapy.Spider): 
    handle_httpstatus_list = [401] 
    name = "Test" 
    allowed_domains = ["xxx.xx.xx"] 
    start_urls = ["http://testdomain/test"] 

    auth = "Basic [Key Here]" 

    def parse(self, response): 
     return scrapy.Request(
      "http://testdomain/test", 
      headers={'Authorization': self.auth}, 
      callback=self.after_login 
     ) 

    def after_login(self, response): 
     self.log(response.body) 

Jetzt können Sie die Seite nach Authentifizierungsprozess kriechen.