Ich brauche ein Skript, das eine Website spidern und die Liste aller gecrawlten Seiten im Klartext oder ähnlichem Format zurückgeben kann; was ich den Suchmaschinen als Sitemap übermitteln werde. Kann ich mit WGET eine Sitemap einer Website erstellen? Oder gibt es ein PHP-Skript, das das Gleiche tun kann?Kann ich WGET verwenden, um eine Sitemap einer Website mit ihrer URL zu erstellen?
wget --spider --recursive --no-verbose --output-file=wgetlog.txt http://somewebsite.com
sed -n "[email protected]\+ URL:\([^ ]\+\) .\[email protected]\[email protected]" wgetlog.txt | sed "[email protected]&@\&@" > sedlog.txt
Dies erzeugt eine Datei sedlog.txt genannt, die alle Links auf der angegebenen Website enthält. Sie können PHP oder ein Shell-Skript verwenden, um die Textdatei-Sitemap in eine XML-Sitemap zu konvertieren. Verändern Sie die Parameter des wget-Befehls (accept/reject/include/exclude), um nur die benötigten Links zu erhalten.
können Sie diesen Perl-Skript verwenden, den Trick zu tun:
Es wird durch Scannen des Dateisystems generiert, aber nicht "kriechen". Die Seiten, die ich spinnen möchte, sind dynamisch. –
+1 Konnte es nicht so verwenden, da es mir eine Reihe von Fehlern gab (wahrscheinlich wegen verschiedener wget/sed-Versionen). Aber sobald ich ein paar Verbesserungen vorgenommen hatte, funktionierte es wie ein Zauber. Vielen Dank! – Julian
Sie sollten eine kleine Verzögerung zwischen Anfragen hinzufügen, indem Sie '--wait = 1' verwenden, da dies die Leistung der Site beeinträchtigen könnte. – Liam