Wie parst du große Dateien in Groovy, ohne die Größe des Heapspeichers zu überschreiten?

Question

Wenn eine große Datei ich die folgende Fehlermeldung erhalten Parsen Caught: java.lang.OutOfMemoryError: Java heap space

Wie Sie große Dateien in Groovy analysieren kann, ohne Heap-Größe von mehr als?

Beispiel-Code, der mit großen Dateien nicht ...

import java.io.File 

def inputFile = new File("c:/dev/test.txt") 
    inputFile.getText().eachLine{ it, i -> 
      ... do something with each line 
     } 

Answer 1

Stellen Sie sicher, dass die Sie in einer Art und Weise über die Datei sind laufen, die nicht die gesamte Datei in den Speicher nicht geladen ...

• In diesem Fall drehen speziell inputFile.getText(). eachLine in inputFile.eachLine
• nicht verwenden Sie .readLines() wird versucht, die gesamte Datei in den Speicher zu laden,. eachLine {..} sollte stattdessen
• Sie können auch die Speichergröße mit einer Jvm Flagge erweitern verwendet werden, zB zu 1 GB unter Verwendung groovy -Xmx1024M myscript.groovy Siehe auch answer here

diesen page Auf der groovy Mailingliste weitere Informationen und weitere Diskussion

Code, der ohne einen Heap-Speicher Fehler funktioniert ...

def inputFile = new File("c:/dev/test.txt") 
inputFile.eachLine{ it, i -> 
     ... do something with each line 
    }