Wie man eine cloudflare 520 Anfrage mit Ruby "nachlädt"?

Question

Ich schrieb ein Ruby-Skript eine Bild-URL heruntergeladen werden:

require 'open-uri' 

imageAddress = ARGV[0] 
targetPath = ARGV[1] 

fullFileNamePath = "#{targetPath}test.jpg" 

    begin 
    File.open(fullFileNamePath, 'wb') do |fo| 
     fo.write open(imageAddress).read 
     end 
    rescue OpenURI::HTTPError => ex 
    puts ex 
    File.delete(fullFileNamePath) 
    end 

Verwendungsbeispiel:

ruby download_image.rb "https://images.genius.com/b015b15e476c92d10a834d523575d3c9.1000x1000x1.jpg" "/Users/Me/Downloads/" 

Das Problem ist, manchmal laufe ich über diesen Ausgang Fehler:

520 Origin Error

Dann, wenn ich die gleiche URL in meinem Browser versuche, bekomme ich etwas wie folgt:

Wenn ich um die Seite oder klicken Sie auf den ‚Retry für eine Live-Version‘ Knopf im Bild oben, um die Seite geladen laden.

Dann, wenn ich das Skript erneut ausführen, lädt es das Bild einfach gut.

Also, wie kann ich diese Seite reload replizieren/"Retry für eine Live-Version" Verhalten mit Ruby und ohne zu meinem Browser wechseln? Das Ausführen des Skripts führt die Aufgabe nicht aus.

Answer 1

Es klingt, als ob Sie nach einem Verzögerungsbefehl suchen. Wenn das Skript fehlschlägt (oder auf '520 Origin Error' stößt), warten Sie und versuchen Sie es erneut.

Dies ist eine schnell aufgebaute rekursive Funktion. Vielleicht möchten Sie weitere Prüfungen hinzufügen, wie oft Sie geloopt haben und nach so vielen brechen. (Auch nicht getestet, kann Fehler enthalten, gemeint als Beispiel)

def getFile(params_you_need) 
    begin 
     File.open(fullFileNamePath, 'wb') do |fo| 
     fo.write open(imageAddress).read 
    end 
    rescue OpenURI::HTTPError => ex 
    puts ex 
    File.delete(fullFileNamePath) 
     if ex == '520 Origin Error' 
     sleep(30) #generally a good time to pause 
     getFile(params_you_need) 
     end 
    end 
end