Wie beschleunigt man Berechnungen mit riesigen Rasterstapeln?

Question

Ich habe vier ziemlich große RasterStacks und möchte einige einfache Berechnungen an ihnen vornehmen. Wie kann ich diese Berechnungen beschleunigen? Ich habe this approach using overlay() gefunden, aber die Berechnungen dauern immer noch sehr lange.

Mein RasterStacks (s1, s2, s3, s4) haben alle Dimensionen: 26, 76, 1976, 3805 (nrow, ncol, ncell, nlayers) und meine aktuellen Code sieht wie folgt aus:

out <- overlay(s1,s2,s3,s4, fun = function(rs1,rs2,rs3,rs4) {return((rs1+rs2-rs3-rs4)*1e3)}) 

Irgendwelche Ideen?

EDIT: ein RasterStack zu erzeugen (zB s1) können Sie die folgende Funktion aufrufen:

create_stack <- function(num.col,num.row,num.lay){ 
    r <- raster(matrix(runif(num.row*num.col,0,10), ncol=num.col, nrow=num.row), 
     xmn=0, xmx=num.col, ymn=0, ymx=num.row) 
    ll <- replicate(num.lay , r) 
    return(stack(ll)) 
} 

library(raster) 
s1 <- create_stack(76,26,3805) 

Answer 1

In Ihrem speziellen Problem

out <- (s1 + s2 - s3 - s4) * 1e3 

scheint der schnellste Weg, um Ihre Funktion anzuwenden . Für andere Probleme sollten Sie jedoch einen Blick auf die clusterR()-Funktion werfen. Sie können Funktionen parallelisieren.

„Zum Beispiel arbeitet es mit calc und es funktioniert auch mit Overlay solange Sie eine einzelne RasterStack oder RasterBrick als erstes Argument liefern.“

Mit Ihrer Funktion erstelle ich dieses Arbeitsbeispiel:

create_stack <- function(num.col,num.row,num.lay){ 
    r <- raster(matrix(runif(num.row*num.col,0,10), ncol=num.col, nrow=num.row), 
       xmn=0, xmx=num.col, ymn=0, ymx=num.row) 
    ll <- replicate(num.lay , r) 
    return(stack(ll)) 
} 


library(raster) 
s1 <- create_stack(76,26,3805) 
s2 <- create_stack(76,26,3805) 
s3 <- create_stack(76,26,3805) 
s4 <- create_stack(76,26,3805) 


beginCluster() 
out <- clusterR(s1, fun = function(x,s2,s3,s4) {return((x + s2 - s3 - s4)*1e3)}, 
       args = list(s2 = s2, s3 = s3, s4 = s4), progress = "text") 
endCluster() 

Als eine Spitze im Allgemeinen erleben ich, dass Aufruf

beginCluster() 

vom raster Paket am Anfang eines Segments Mit vielen Rasterberechnungen kann man unbekannte Vorteile bringen, da viele raster Funktionen bereits zur parallelen Berechnung implementiert sind.

Answer 2

Die Erhöhung der chuncksize hilft viel im Umgang mit großen Rastern. Außerdem empfehle ich, alle temporären Dateien in ein Verzeichnis zu schreiben, das Sie einfach verwalten können.

library(raster) 
rasterOptions(tmpdir="C:\\",tmptime = 24,progress="text",timer=TRUE,overwrite = T,chunksize=2e+08,maxmemory=1e+8)