R Programmierung ... For Loop auf einen Datenrahmen zu schreiben

Question

Ich versuche, einige Daten aus dem Internet herunterzuladen und es gibt Daten über eine Reihe von Tabellen über eine Reihe von Jahren ... Ich kann die Verbindung herstellen und herunterladen verschiedene Tabellen pro Jahr, aber es ist manuell in der Ausführung des Skripts pro Jahr.

Ich habe eine for-Schleife eingerichtet, um über die Jahre zu iterieren und es in einen Datenrahmen zu schreiben, jedoch jedes Mal, wenn es eine Schleife gibt, überschreibt es die alten Daten.

Ich habe versucht, eine Variable mit Paste() einzurichten, aber es wird nicht funktionieren, ich habe mich gefragt, ob es eine Lösung für das, was ich frage. Hier

ist der Code, ich verwende ...

for(year in 2000:2010) 
{ 
    url_team <- "x" 
    team <- 'x' 
    url <- paste(
     "http://www.ab.com/team/",url_team,"/",year,".htm", sep="") 
    table <- readHTMLTable(url, stringsAsFactors = FALSE) 
} 

Answer 1

Eine Möglichkeit, dies zu tun, ist die assign Funktion mit der paste Funktion zu verwenden. Das würde wie folgt aussehen:

for (year in 2000:2010) { 
    url_team <- "x" 
    team <- 'x' 
    # paste0 automatically sets the sep argument to "" 
    url <- paste0("http://www.ab.com/team/", url_team, "/", year, ".htm") 
    assign(paste0("table_", year), readHTMLTable(url, stringsAsFactors=F)) 
} 

assign neue Variablen erstellen basierend auf dem Namen, den Sie es passieren. Der Nachteil ist, dass Sie jetzt 11 Variablen in Ihrem Arbeitsbereich haben, die einfach alles überladen. Stattdessen sollten Sie nur ein Listenobjekt verwenden, um alles an einem Ort zu halten. Das würde so aussehen:

tables = vector(mode="list", length=11) 
for (i in 1:11) { 
    year <- 1999 + i 
    url_team <- "x" 
    team <- 'x' 
    url <- paste0("http://www.ab.com/team/", url_team, "/", year, ".htm") 
    tables[[i]] <- readHTMLTable(url, stringsAsFactors=F) 
} 
names(tables) <- as.character(2000:2010) 

Jetzt können Sie jede Tabelle aufrufen, indem tables$2000 oder tables$2003 oder dergleichen verwendet wird. Am Ende haben Sie alle 11 Tabellen, aber nur eine Variable.

Answer 2

Verwenden Sie für eine Liste von Datenrahmen aus den HTML-Tabellen. Und dann ein do.call(rbind, ...) laufen alle Datenrahmen in einem Master-Datenrahmen zu binden:

dflist <- lapply(2000:2010, function(year){ 
       url_team <- "x" 
       team <- 'x' 
       url <- paste0("http://www.ab.com/team/",url_team,"/",year,".htm") 
       readHTMLTable(url, stringsAsFactors = FALSE) 
      }) 

finaldf <- do.call(rbind, dflist) 

Answer 3

Try this:

library(dplyr) 

data_frame(url_team = "x", 
      team = "x", 
      year = 2000:2010) %>% 
    mutate(url = paste0("http://www.ab.com/team/", 
        url_team,"/",year,".htm")) %>% 
    group_by(year, team) %>% 
    do(readHTMLTable(.$url, stringsAsFactors = FALSE)) 

Auch wenn Sie mehrere Teams haben:

team = data_frame(team = c("x", "y"), 
        url_team = c("x", "y")) 
year = data_frame(year = 2000:2010) 

merge(year, team) %>% 
    mutate(url = paste("http://www.ab.com/team/", 
        url_team,"/",year,".htm", sep="")) %>% 
    group_by(year, team) %>% 
    do(readHTMLTable(.$url, stringsAsFactors = FALSE))