HTTP Fehler beim Abrufen der URL

Question

Ich versuche, diese Seite mit Jsoup zu analysieren: http://www.listofnewspapers.com/2014/04/site-map.html aber ich diese Störung erhalte:

For ' http://www.listofnewspapers.com/2014/04/site-map.html ': HTTP error fetching URL"

Ich glaube, der Fehler bei connect(URL).get() auftritt.

Ich habe den Statuscode für Debugging-Zwecke gedruckt, und ich habe 200.

Ich versuchte mit mehreren anderen Websites, und sie verbunden gut.

Answer 1

Es scheint, als ob Benutzeragenten gefiltert werden. Versuchen Sie, bis ein:

Jsoup.connect(URL).userAgent("Mozilla").get() 

Answer 2

Verwenden Sie den Firefox Useragent:

.userAgent("Mozilla") 

Zum Beispiel:

Jsoup.connect("https://stackoverflow.com/questions/44349297/http-error-fetching-url").userAgent("Mozilla").get(); 

Quelle: Can Jsoup simulate a button press?