OutOfMemory auf gzip dekomprimiert

Question

im großen json zu Gerät durch Anforderung Antwort zu senden und in der Regel die Größe ist etwa 5 MB, so habe ich beschlossen, GZIP zu verwenden und dies fiel von 5 MB auf weniger als 1MB

Das Problem ist, dass im immer OutOfMemory und ich weiß nicht, wo genau es passiert (ich weiß es innerhalb der Verbindung/Antwort-Handler, aber es ist ein wenig aleatorischen wo, ich weiß aus dem Speicher kann von überall aus knallen, wenn der Speicher niedrig ist, aber ich denke, das ist die Hauptquelle)

Mit Nachrüstung erhalte ich:

{ data: gzipBase64String } 

als i dekomprimieren es ein Verfahren unter Verwendung der Base64-String und die andere dekomprimiert die GZIPInputStream

public static GZIPInputStream getByteArrayFromGzippedBase64(String base64) throws IOException { 
     if(base64 != null) { 
      try { 
       byte[] data = Base64.decode(base64, Base64.DEFAULT); 
       if (data != null) { 
        return getGzipInputStreamFromByteArray(data); 
       } 
      } catch (Exception e) { 
       e.printStackTrace(); 
      } 
     } 
     return null; 
    } 

    public static GZIPInputStream getGzipInputStreamFromByteArray(byte[] compressed) throws IOException { 
     final int BUFFER_SIZE = 32; 
     ByteArrayInputStream is = new ByteArrayInputStream(compressed); 
     GZIPInputStream gis = new GZIPInputStream(is, BUFFER_SIZE); 
     return gis; 
    } 

und i handhaben diese GZIPInputStream mit einem JsonReader zurückzukehren:

reader = new JsonReader(new InputStreamReader(Utils.getByteArrayFromGzippedBase64(response.body().data))); 

und dann innerhalb einer Put objekt

body = gson.fromJson(reader, SyncDayjourneysResponse.class); 

warum funktioniert es nicht, da ich gehofft hatte, dass dies nicht alle objekte auf speicher laden?

Answer 1

Utils.getByteArrayFromGzippedBase64(response.body().data) sieht definitiv wie etwas, das das ganze 5 MB Array im Speicher aufbauen würde, und

body = gson.fromJson(reader, ...); auch sieht definitiv wie etwas, das ein ganzes greatbighuge JSON-Objekt, das auf ein ganzen 5 Megabyte im Wert von JSON Text entspricht erzeugen würde in Erinnerung.

Ich würde empfehlen, zu sehen, ob es eine Möglichkeit gibt, das Deflaten on-the-fly durchzuführen, anstatt ein Byte-Array zu erstellen, das den gesamten entleerten Inhalt enthält.

Darüber hinaus möchten Sie möglicherweise untersuchen, wie Sie Ihr einzelnes Jig-Großbuchstaben-JSON-Objekt in kleinere Objekte aufteilen.