Wie kann man curl informieren, die Datei vor dem Download zu überprüfen?

Question

Ich benutze diesen Befehl, um eine Reihe von Bildern zum Download:

curl -O --max-time 10 --retry 3 --retry-delay 1 http://site.com/image[0-100].jpg 

Einige Bilder sind beschädigt, so dass ich sie löschen.

for i in *.jpg; do jpeginfo -c $i || rm $i; done 

Wie zu curl, Datei Existenz vor dem Download zu überprüfen?

kann ich diesen Befehl verwenden curl überschreiben vorhandene Bilder zu verhindern:

chmod 000 *.jpg 

Aber ich will nicht erneut herunterladen sie.

Answer 1

Wenn die Zielressource ist statisch, curl hat eine Option -z nur eine neuere Zielkopie zum Download bereit.

Anwendungsbeispiel:

curl -z image0.jpg http://site.com/image0.jpg 

Ein Beispiel für Ihren Fall:

for i in $(seq 0 100); do curl -z image$i.jpg -O --max-time 10 --retry 3 --retry-delay 1 http://site.com/image$i.jpg; done

Answer 2

Keine Ahnung, es mit Curl zu tun, aber Sie könnten es mit Bash überprüfen, bevor Sie den Curl-Befehl ausführen.

for FILE in FILE1 FILE2 … 
do 
    if [[ ! -e $FILE ]]; then 
    # Curl command to download the image. 
    fi 
done