Fehler: Port 443 Zeitüberschreitung - Scrapping Daten

Question

Versuchen, einige Daten zu kratzen, aber ich bekomme immer einen Timeout-Fehler. Mein Internet funktioniert gut, und ich habe auch die neueste R-Version aktualisiert - mit einem Verlust davon, wie ich das jetzt angehen soll. Hält mit jeder URL an, die ich versuche.

library(RCurl) 
library(XML) 

url = "https://inciweb.nwcg.gov/" 
content <- getURLContent(url) 
    Error in function (type, msg, asError = TRUE) : 
     Failed to connect to inciweb.nwcg.gov port 443: Timed out 

Answer 1

Sie müssen möglicherweise eine explizite Timeout auf langsameren Verbindungen setzen:

library(httr) 
library(rvest) 

pg <- GET("https://inciweb.nwcg.gov/", timeout(60)) 

incidents <- html_table(content(pg))[[1]] 

str(incidents) 
## 'data.frame': 10 obs. of 7 variables: 
## $ Incident: chr "Highline Fire" "Cottonwood Fire" "Rattlesnake Point Fire" "Coolwater Complex" ... 
## $ Type : chr "Wildfire" "Wildfire" "Wildfire" "Wildfire" ... 
## $ Unit : chr "Payette National Forest" "Elko District Office" "Nez Perce - Clearwater National Forests" "Nez Perce - Clearwater National Forests" ... 
## $ State : chr "Idaho, USA" "Nevada, USA" "Idaho, USA" "Idaho, USA" ... 
## $ Status : chr "Active" "Active" "Active" "Active" ... 
## $ Acres : chr "83,630" "1,500" "4,843" "2,969" ... 
## $ Updated : chr "1 min. ago" "1 min. ago" "3 min. ago" "5 min. ago" ... 

vorübergehende Lösung

l <- charToRaw(paste0(readLines("https://inciweb.nwcg.gov/"), collapse="\n")) 

pg <- read_html(l) 

html_table(pg)[[1]]