Ich habe für BufferedReader Wrapper bekam, die eine nach der anderen in Dateien liest einen ununterbrochenen Strom über mehrere Dateien zu erstellen:Warum codiert mein BufferedReader Speicherverlust?
import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.FileReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.Reader;
import java.util.ArrayList;
import java.util.zip.GZIPInputStream;
/**
* reads in a whole bunch of files such that when one ends it moves to the
* next file.
*
* @author isaak
*
*/
class LogFileStream implements FileStreamInterface{
private ArrayList<String> fileNames;
private BufferedReader br;
private boolean done = false;
/**
*
* @param files an array list of files to read from, order matters.
* @throws IOException
*/
public LogFileStream(ArrayList<String> files) throws IOException {
fileNames = new ArrayList<String>();
for (int i = 0; i < files.size(); i++) {
fileNames.add(files.get(i));
}
setFile();
}
/**
* advances the file that this class is reading from.
*
* @throws IOException
*/
private void setFile() throws IOException {
if (fileNames.size() == 0) {
this.done = true;
return;
}
if (br != null) {
br.close();
}
//if the file is a .gz file do a little extra work.
//otherwise read it in with a standard file Reader
//in either case, set the buffer size to 128kb
if (fileNames.get(0).endsWith(".gz")) {
InputStream fileStream = new FileInputStream(fileNames.get(0));
InputStream gzipStream = new GZIPInputStream(fileStream);
// TODO this probably needs to be modified to work well on any
// platform, UTF-8 is standard for debian/novastar though.
Reader decoder = new InputStreamReader(gzipStream, "UTF-8");
// note that the buffer size is set to 128kb instead of the standard
// 8kb.
br = new BufferedReader(decoder, 131072);
fileNames.remove(0);
} else {
FileReader filereader = new FileReader(fileNames.get(0));
br = new BufferedReader(filereader, 131072);
fileNames.remove(0);
}
}
/**
* returns true if there are more lines available to read.
* @return true if there are more lines available to read.
*/
public boolean hasMore() {
return !done;
}
/**
* Gets the next line from the correct file.
* @return the next line from the files, if there isn't one it returns null
* @throws IOException
*/
public String nextLine() throws IOException {
if (done == true) {
return null;
}
String line = br.readLine();
if (line == null) {
setFile();
return nextLine();
}
return line;
}
}
Wenn ich dieses Objekt auf einer großen Liste von Dateien (300 MB im Wert von Dateien) konstruieren , dann nextLine() immer wieder in einer while-Schleife drucken Leistung kontinuierlich verschlechtert, bis es nicht mehr RAM zu verwenden ist. Dies geschieht auch, wenn ich Dateien mit ~ 500 KB einlese und eine virtuelle Maschine mit 32 MB Speicher verwende.
Ich möchte diesen Code in der Lage sein, auf positiv massiven Datensätzen (Hunderte von Gigabytes Dateien) zu laufen, und es ist eine Komponente eines Programms, das mit 32 MB oder weniger Arbeitsspeicher ausgeführt werden muss.
Die Dateien, die verwendet werden, sind meist beschriftete CSV-Dateien, daher die Verwendung von Gzip, um sie auf der Festplatte zu komprimieren. Dieser Reader muss mit gzip und unkomprimierten Dateien umgehen.
Korrigieren Sie mich, wenn ich falsch liege, aber sobald eine Datei gelesen wurde und ihre Zeilen die Daten aus dieser Datei ausgespuckt haben, sollten die mit dieser Datei verbundenen Objekte und alles andere für die Garbage Collection geeignet sein?
Ist das relevant 'C++' überhaupt finden? – Galik
Sie könnten 'fileNames.addAll (files);' in Ihrem Konstruktor verwenden. – Kayaman
Ich würde einen Heap-Dump betrachten, um zu sehen, wo der Speicher beibehalten wird. Was du sagst, scheint das Problem irgendwo anders in deinem Code zu sein. –