Inhalt von Offensive-Sicherheitsdateien ist mit wget nicht lesbar

Question

Ich versuche, einige URLs mit wget herunterzuladen. Ich bekomme Dateien ohne Probleme mit Ausnahme dieses Links Offensive-Security-ICQ und andere Links auf www.offensive-security.com.

Ich versuchte sowohl Linux als auch Windows mit vielen Versuchen und viel Suche, aber vergebens.

Ich verwende diesen Befehl „wget https://www.offensive-security.com/pwbonline/icq.html“

Die Datei ergab zeigt diese Symbole und es wird ANSI decodiert

Wie kann ich dieses Problem lösen ??

Answer 1

Aus irgendeinem Grund gibt der Server die HTML-Seite nicht zurück, sondern eine gezippte Version davon. Die Datei, die Sie erhalten, wird als gzip komprimierten Daten identifiziert:

$ file icq.html 
icq.html: gzip compressed data, from Unix 

So können Sie einfach entpacken und Sie bekommen die richtige HTML-Seite.

Warum macht der Server das: nicht sicher, aber es ist wahrscheinlich einige Standardeinstellungen, die belassen wurden, so dass Sie schneller herunterladen können.

Wie kann man den HTML-Inhalt direkt herunterladen: wahrscheinlich durch das Senden einiger allgemeiner Benutzer-Agent und Header, so dass der Server denkt, dass ein gemeinsamer Web-Browser die Anfrage anstelle eines Download-Tool tut.

mit wget mit einigen Optionen erfolgen, Dies kann beispielsweise, sollte diese Arbeit:

wget --header="Accept: text/html" --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:21.0) Gecko/20100101 Firefox/21.0" https://www.offensive-security.com/pwbonline/icq.html