wget, um bereits heruntergeladene Dateien anzufügen und übersprungen zu werden

Question

Ich bin dabei, wget zu bekommen, um den gesamten Inhalt von einem Webserver herunterzuladen, und es scheint gut zu gehen, aber es gibt Probleme mit dem Server, den ich gerade auf den Lauf des Speicherplatzes herunterlade und deshalb aufhören.

Ich bin auf der Suche nach einer Möglichkeit, wget, um den gesamten Inhalt der Website herunterladen und wenn es eine Datei gefunden hat es bereits verarbeitet, um zu überprüfen, ob es kleiner als die auf dem Webserver ist, wenn es weiter gebrochen ist herunterladen oder im schlimmsten Fall erneut herunterladen. Wenn die Datei vorhanden ist und ist gleich groß dann auf die nächste

bewegen

ich derzeit

bin mit

wget -r --no-Eltern-N http://www.website.com

Answer 1

prüfen man wget für die --continue (oder -c) Möglichkeit. Die man-Seite zeigt sogar diese Option, die bei rekursiven Downloads verwendet wird.

Aus der Manpage:

-c 
    --continue 
     Continue getting a partially-downloaded file. This is useful 
     when you want to finish up a download started by a previous 
     instance of Wget, or by another program. For instance: 

       wget -c ftp://sunsite.doc.ic.ac.uk/ls-lR.Z 

     If there is a file named ls-lR.Z in the current directory, 
     Wget will assume that it is the first portion of the remote 
     file, and will ask the server to continue the retrieval from 
     an offset equal to the length of the local file. 

und -r und -c zusammen verwendet wird:

You may put several options that do not require arguments together, like: 

      wget -drc <URL> 

    This is completely equivalent to: 

      wget -d -r -c <URL> 

-Rich Alloway (RogueWave)