GC Overhead Limit überschritten beim Füllen von Hashmap

Question

Wenn mein Java-Programm startet, füllt es eine Hashmap mit Tausenden von Objekten. Der Schlüssel ist eine Zeichenfolge und der Wert besteht aus einer Gruppe von Objekten.

Das Programm läuft auf Hochtouren und löst eine Out of Memory-Ausnahme aus: GC Overhead Limit überschritten, wenn es etwa 10000 Tasten erreicht.

Ich habe gelesen, dass es sein könnte, dass das zugrunde liegende Array ständig die Größe ändern muss. Aber ich möchte in der Lage sein, dies zu lösen, ohne einfach die Größe des Heapspeichers zu erhöhen.

Danke!

Answer 1

Sie haben nicht genügend Arbeitsspeicher, da das interne Array jedes Mal verdoppelt wird, wenn ein bestimmter Schwellenwert erreicht wird. Sie müssen also sicherstellen, dass es nicht passiert. Wenn Sie die Anzahl der Objekte kennen, die Sie in der Map speichern müssen, verwenden Sie einfach den Konstruktor HashMap(int initialCapacity, float loadFactor) und geben Sie die erwartete Größe im ersten Parameter an. Wenn Sie die Anzahl der Objekte nicht kennen, können Sie trotzdem versuchen, initialCapacity so einen ungefähren Wert und/oder spielen mit loadFactor Parameter (Standardwert ist 0,75) - je größer der Wert, desto größer der Schwellenwert, bei dem es die Größe ändern wird .

Answer 2

Sie sollten Profiler und Speicheranalysetools für Leistung und Speicherprobleme verwenden. Einer der Tipps, die ich tun würde, ist die JVM mit Flag konfigurieren JAVA_OPTS = -XX: -HeapDumpOnOutOfMemoryError Dann, wenn Sie diese Ausnahme und JVM abstürzt, können Sie diese Dump und MAT-Speicheranalyse-Tool verwenden, um die Verteilung von Objekten zu analysieren und Wurzelwege. Auch würde man Java Mission Control JMC bevorzugen, die mit Java und seinem Flugschreiber verteilt sind. Bitte beachten Sie, dass der Flugdatenschreiber seit Java 7 Update 40 verfügbar ist

Answer 3

Sie müssen die Größe Ihrer Daten modellieren, plus den pro Element Overhead von HashMap, um Ihre Heap-Anforderungen zu bestimmen.

Der Einfachheit halber nehme ich an, dass Sie eine 64-Bit-JVM mit komprimierten OOPS (OOP = gewöhnlicher Objektzeiger) ausführen. Dies ergibt einen 12-Byte-Header pro Objekt und eine 4-Byte-Objektreferenz. Ich gehe weiter davon aus, dass Sie eine HashMap mit einem Standard-Auslastungsfaktor von 0,75 verwenden.

Bei 10.000 Elementen beträgt die Tabellengröße mindestens 10.000/0.75 = 13.333. Die Tabellengröße ist jedoch immer eine Zweierpotenz, also wird sie wahrscheinlich 16.384 lang sein. Das ergibt 65.536 Bytes - 64 KB.

Jedes in einem HashMap gespeicherte Elemente erfordert auch die Schaffung eines internen Node Gegenstand, der vier 4-Byte-Felder (hash, Schlüssel, Wert, next) hat plus 12 Bytes für die Objekt-Header, so dass 28 Bytes pro Node Objekt . Mit 10.000 Elementen sind das 280KB.

Die HashMap Tabellengröße plus die internen Node Objekte erfordern somit 344 KB Overhead zum Speichern von 10.000 Schlüssel-Wert-Paaren. Das führt nicht dazu, dass Ihnen der Speicher ausgeht. Wenn Sie die Anfangskapazität von HashMap ändern, wird der Kopieraufwand durch die Größenanpassung reduziert, aber die Menge an zusätzlichem temporärem Speicher ist vernachlässigbar im Vergleich zu einer typischen Heap-Größe von Hunderten von MB oder mehreren GB.

Wenn Ihre Heap-Größe 1 GB beträgt und der Speicher bei 10.000 Map-Einträgen knapp wird, benötigt jedes Schlüssel/Wert-Paar etwa 100 KB. Sie können einige Millionen Schlüssel nur dann laden, wenn Sie die Größe des Heapspeichers drastisch erhöhen, oder Sie reduzieren die Größe jedes Schlüssel/Wert-Paars oder eine Kombination aus beiden.