Kann .gz-Datei mit Anfragenmodul nicht herunterladen

Question

Wie kann ich eine .gz Datei ordnungsgemäß herunterladen? Mein Code geht unter:

import requests 
response = requests.get('https://www.propertyshark.com/sitemap/CA-San-Bernardino-reports_1.xml.gz', headers=headers) 
    print(response.status_code) 
    if response.status_code == 200: 
     print('Downloading...') 
     file_name = 'file.xml.gz' 

Es tut Download gz-Datei, aber es beschädigt ist - nur 1KB in Größe und wenn ich versuche, es .gz.cpgz im Dateinamen fügt zu entpacken.

Answer 1

Ich habe versucht, Ihren Code ausgeführt und die folgende Fehlerseite erhalten. Sie scheinen kopflose Browser wie Headless Chrom über Selen manipulieren zu müssen. Das Requests-Modul gilt für die auf dieser Fehlerseite genannte Bedingung von Bot.

import requests 

res = requests.get("https://www.propertyshark.com/sitemap/CA-San-Bernardino-reports_1.xml.gz") 
print(res.text) 

Answer 2

Die URL, die Sie verwenden, holt Sie nicht die richtige .gz Datei, weil es eine HTML-Seite in Wirklichkeit ist, die die .gz Datei mit JavaScript herunterlädt. Da es eine leere Seite erstellt, sieht es so aus, als wäre es die rohe Datei, die dort gehostet wird, ist aber nicht wirklich so.

Ich verifizierte dies, indem ich die Seite öffne und seine Elemente begutachte. Dies kann leicht der Fall sein, wenn die Site Middleware verwendet, um die .gz-Datei am Frontend zu generieren.

Wenn Sie den Entwickler für die Website erreichen können, können Sie einen benutzerdefinierten Pfad für Sie öffnen. Sonst müssen Sie möglicherweise die URL mit Selen öffnen und dann automatisch herunterladen.

Es wird jetzt als .gz-Datei in Ihrem Code gespeichert, nur weil Sie diesen Namen explizit angeben - file_name = 'file.xml.gz'. FWIW, unter Linux, können Sie Dateien einer Erweiterung problemlos in eine andere umbenennen.