Plotten sehr großer Datensätze in R

Question

Wie kann ich einen sehr großen Datensatz in R plotten?

Ich würde gerne einen Boxplot oder Violinplot oder ähnliches verwenden. Alle Daten können nicht in den Speicher passen. Kann ich die Zusammenfassungen, die zur Erstellung dieser Diagramme benötigt werden, schrittweise einlesen und berechnen? Wenn das so ist, wie?

Answer 1

In Ergänzung zu meinem Kommentar zu Dmitri answer, um eine Funktion quantiles zu berechnen mit ff Big Data Handling-Paket:

ffquantile<-function(ffv,qs=c(0,0.25,0.5,0.75,1),...){ 
stopifnot(all(qs<=1 & qs>=0)) 
ffsort(ffv,...)->ffvs 
j<-(qs*(length(ffv)-1))+1 
jf<-floor(j);ceiling(j)->jc 
rowSums(matrix(ffvs[c(jf,jc)],length(qs),2))/2 
} 

Dies ist ein exakter Algorithmus, so dass es das Sortieren verwendet - und damit kann nehmen Sie sich viel Zeit.

Answer 2

Alles, was Sie für einen Boxplot benötigen, sind die Quantile, die "Whisker" -Extreme und die Ausreißer (falls angezeigt), die alle leicht vorberechnet werden können. Schauen Sie sich die boxplot.stats Funktion an.

Answer 3

Sie könnten Diagramme aus überschaubaren Stichproben Ihrer Daten erstellen. Z.B. Wenn Sie nur 10% zufällig ausgewählte Zeilen verwenden, sollte sich das Boxplot für dieses Beispiel nicht vom Boxplot für alle Daten unterscheiden.

Wenn Ihre Daten in einer Datenbank sind, können Sie ein zufälliges Flag erstellen (da ich weiß, dass fast jede Datenbank-Engine irgendeine Art von Zufallszahlengenerator hat).

Zweitens ist, wie groß ist Ihr Datensatz? Für Boxplot benötigen Sie zwei Spalten: Wertvariable und Gruppenvariable. Dieses Beispiel:

N <- 1e6 
x <- rnorm(N) 
b <- sapply(1:100, function(i) paste(sample(letters,40,TRUE),collapse="")) 
g <- factor(sample(b,N,TRUE)) 
boxplot(x~g) 

benötigt 100 MB RAM. Wenn N=1e7 dann verwendet es < 1 GB RAM (die noch zu modernen Maschine verwaltbar ist).

Answer 4

Dies ist ein interessantes Problem.

Boxplots erfordern Quantile. Das Berechnen von Quantilen in sehr großen Datensätzen ist schwierig.

Die einfachste Lösung, die in Ihrem Fall funktionieren kann oder nicht, besteht darin, die Daten zuerst zu verkleinern und Plots der Probe zu erstellen. Mit anderen Worten, lesen Sie eine Reihe von Datensätzen gleichzeitig und behalten Sie eine Teilmenge davon im Speicher (entweder deterministisch oder zufällig). Am Ende erzeugen Sie Diagramme basierend auf den Daten, die im Speicher gehalten wurden. Ob dies realisierbar ist, hängt wiederum stark von den Eigenschaften Ihrer Daten ab.

Alternativ gibt es Algorithmen, die Quantile in einer "Online" -Methode ökonomisch und näherungsweise berechnen können, was bedeutet, dass sie jeweils mit einer Beobachtung dargestellt werden und jede Beobachtung genau einmal gezeigt wird. Obwohl ich nur begrenzte Erfahrung mit solchen Algorithmen habe, habe ich keine leicht verfügbaren R-Implementierungen gesehen.

Das folgende Papier gibt einen kurzen Überblick über einige relevante Algorithmen: Quantiles on Streams.

Answer 5

Problem ist, dass Sie nicht alle Daten in den Speicher laden können. Sie können also, wie bereits von @Marek angezeigt, Stichproben der Daten durchführen. Auf solch riesigen Datensätzen erhalten Sie im Wesentlichen die gleichen Ergebnisse, selbst wenn Sie nur 1% der Daten verwenden. Für den Violin-Plot erhalten Sie eine ordentliche Schätzung der Dichte. Eine progressive Berechnung von Quantilen ist unmöglich, aber dies sollte eine sehr gute Annäherung ergeben. Es ist im Wesentlichen das gleiche wie die "randomisierte Methode", die im Link @aix beschrieben wurde.

Wenn Sie das Datum nicht außerhalb von R subset- zen können, kann dies über Verbindungen in Kombination mit sample() geschehen. Folgende Funktion verwende ich, um Daten von einem Datenrahmen im Textformat zu erfassen, wenn es zu groß wird. Wenn Sie ein wenig mit der Verbindung spielen, könnten Sie dies leicht in eine socketConnection konvertieren, um sie von einem Server oder einer Datenbank zu lesen. Stellen Sie sicher, dass Sie die Verbindung im richtigen Modus öffnen.

Gut, nimm ein einfaches.CSV-Datei, dann Proben folgende Funktion ein Bruchteil p der Daten:

sample.df <- function(f,n=10000,split=",",p=0.1){ 
    con <- file(f,open="rt",) 
    on.exit(close(con,type="rt")) 
    y <- data.frame() 
    #read header 
    x <- character(0) 
    while(length(x)==0){ 
     x <- strsplit(readLines(con,n=1),split)[[1]] 
    } 
    Names <- x 
    #read and process data 
    repeat{ 
     x <- tryCatch(read.table(con,nrows=n,sep=split),error = function(e) NULL) 
     if(is.null(x)) {break} 
     names(x) <- Names 
     nn <- nrow(x) 
     id <- sample(1:nn,round(nn*p)) 
     y <- rbind(y,x[id,]) 
    } 
    rownames(y) <- NULL 
    return(y) 
} 

Ein Beispiel für die Nutzung:

#Make a file 
Df <- data.frame(
    X1=1:10000, 
    X2=1:10000, 
    X3=rep(letters[1:10],1000) 
) 
write.csv(Df,file="test.txt",row.names=F,quote=F) 

# n is number of lines to be read at once, p is the fraction to sample 
DF2 <- sample.df("test.txt",n=1000,p=0.2) 
str(DF2) 

#clean up 
unlink("test.txt") 

Answer 6

Sie sollten am RSQLite, SQLiteDF, RODBC schauen auch, und biglm Pakete. Für große Datensätze kann es nützlich sein, die Daten in einer Datenbank zu speichern und nur Stücke in R zu ziehen. Die Datenbanken können auch für Sie sortieren und dann ist die Berechnung von Quantilen an sortierten Daten viel einfacher (dann verwenden Sie einfach die Quantile, um die Diagramme zu erstellen) .

Es gibt auch das Hexbin-Paket (Bioconductor) für Scatterplot-Äquivalente mit sehr großen Datensätzen (wahrscheinlich noch eine Probe der Daten verwenden möchten, aber mit einem großen Beispiel arbeitet).

Answer 7

Sie könnten die Daten in eine Datenbank schreiben und die Quantile mit SQL berechnen. Siehe: http://forge.mysql.com/tools/tool.php?id=149