Strategien zum Aufspüren von Speicherlecks, wenn Sie alles falsch gemacht haben

Question

Mein Programm, leider, hat ein Speicherleck irgendwo, aber ich werde verdammt sein, wenn ich weiß, was es ist.

Seine Aufgabe ist es, in einem Haufen von ~ 2MB-Dateien zu lesen, einige Parsing und String-Ersetzung durchzuführen, dann geben Sie sie in verschiedenen Formaten. Das bedeutet natürlich eine Menge Strings, und so zeigt das Memory-Tracing, dass ich viele Strings habe, was genau das ist, was ich erwarten würde. Die Struktur des Programms besteht aus einer Reihe von Klassen (jeweils in einem eigenen Thread, da ich ein Idiot bin), der auf ein Objekt wirkt, das jede Datei im Speicher darstellt. (Jedes Objekt hat eine Eingabewarteschlange, die an beiden Enden eine Sperre verwendet. Während dies bedeutet, dass ich diese einfache Verarbeitung parallel ausführen muss, bedeutet dies auch, dass ich mehrere 2MB-Objekte im Speicher habe.) Die Struktur jedes Objekts wird durch ein Schemaobjekt definiert .

Meine Verarbeitungsklassen lösen Ereignisse aus, wenn sie ihre Verarbeitung ausgeführt haben, und übergeben einen Verweis auf das große Objekt, das alle meine Zeichenfolgen enthält, um es der nächsten Verarbeitungsobjektwarteschlange hinzuzufügen. Wenn das Ereignis durch einen Funktionsaufruf ersetzt wird, der zur Warteschlange hinzugefügt wird, wird das Leck nicht gestoppt. Eines der Ausgabeformate erfordert, dass ich ein nicht verwaltetes Objekt verwende. Das Implementieren von Dispose() für die Klasse stoppt das Leck nicht. Ich habe alle Verweise auf das Schemaobjekt durch einen Indexnamen ersetzt. Kein Würfel. Ich habe keine Ahnung, was das verursacht, und keine Ahnung, wo ich hinschauen soll. Der Speicher-Trace hilft nicht, da alles, was ich sehe, eine Menge von Strings ist, die erzeugt werden, und ich sehe nicht, wo die Referenzen im Speicher stecken bleiben.

Wir werden ziemlich aufgeben und an dieser Stelle zurückrollen, aber ich habe ein pathologisches Bedürfnis, genau zu wissen, wie ich das vermasselt habe. Ich weiß, dass Stack Overflow meinen Code nicht genau durchkämmen kann, aber welche Strategien können Sie vorschlagen, um dieses Leck nachzuverfolgen? Ich werde das wahrscheinlich zu meiner Zeit machen, also ist jeder Ansatz machbar.

Answer 1

Eine Technik, die ich versuchen würde, ist die systematische Verringerung der Menge an Code, die Sie benötigen, um das Problem zu demonstrieren, ohne dass das Problem verschwinden würde. Dies ist informell als "Teile und herrsche" bekannt und ist eine leistungsstarke Debugging-Technik. Sobald Sie ein kleines Beispiel haben, das das gleiche Problem zeigt, wird es viel einfacher für Sie zu verstehen sein. Vielleicht wird das Speicherproblem an diesem Punkt klarer werden.

Answer 2

Es gibt nur eine Person, die Ihnen helfen kann. Der Name dieser Person ist Tess Ferrandez. (gedämpfte Stille)

Aber ernsthaft. lese ihren Blog (der erste Artikel ist ziemlich relevant). Zu sehen, wie sie dieses Zeug debuggt, wird Ihnen einen tiefen Einblick geben, was mit Ihrem Problem passiert.

Answer 3

Ich mag die CLR Profiler von Microsoft. Es bietet einige großartige Werkzeuge, um den verwalteten Heap zu visualisieren und Lecks aufzuspüren.

Answer 4

1. Add-Code an den Konstruktor des unamanaged Objekt loggt sein, wenn es onstructed, und eine eindeutige ID sortieren. Verwenden Sie diese eindeutige ID, wenn das Objekt wieder zerstört wird, und Sie können am am wenigsten sagen, welche gehen in die Irre gehen.
2. Grep den Code für jeden Ort, den Sie konstruieren ein neues Objekt; folgen Sie diesem Code-Pfad, um zu sehen, ob Sie eine passende destroy haben.
3. Fügen Sie Verkettungszeiger zu den konstruierten Objekten hinzu, so dass Sie eine Verknüpfung zu dem Objekt vor und nach dem aktuellen aufgebaut haben. Dann kannst du sie später durchgehen.
4. Hinzufügen von Referenzzählern.
5. Ist ein "Debug-Malloc" verfügbar?

Answer 5

Das verwaltete Debuggen in SoS (Son Strike) in für das Aufspüren von verwalteten Speicher ‚Lecks‘ immens poweful ist, da sie sind definitions Erkennbar aus den gc Wurzeln.

Es wird in WinDbg oder Visual Studio arbeiten

Es ist gar nicht so einfach (obwohl es in vielerlei Hinsicht einfacher zu bedienen in WinDbg ist) in den Griff zu bekommen. Hier ist ein tutorial

Ich würde die Empfehlung, Tess Fernandez Blog zu überprüfen.

Answer 6

Ich verwende den Profiler dotTrace zum Aufspüren von Speicherlecks. Es ist viel mehr deterministisch als methodische Versuche und Fehler und Ergebnisse viel schneller.

Für alle Aktionen, die das System durchführt, mache ich einen Snapshot, führe dann ein paar Iterationen der Funktion durch und mache dann einen weiteren Snapshot. Wenn Sie beide vergleichen, werden Ihnen alle Objekte angezeigt, die dazwischen erstellt wurden, aber nicht freigegeben wurden. Sie können dann den Stapelrahmen an der Stelle ihrer Erstellung sehen und somit herausfinden, welche Instanzen nicht freigegeben werden.

Answer 7

Woher wissen Sie, dass Sie tatsächlich ein Speicherleck haben?

Eine andere Sache: Sie schreiben, dass Ihre Verarbeitungsklassen Ereignisse verwenden. Wenn Sie einen Ereignishandler registriert haben, wird das Objekt, das das Ereignis besitzt, am Leben erhalten - d. H. Der GC kann es nicht sammeln. Stellen Sie sicher, dass Sie alle Ereignishandler abmelden, wenn Sie möchten, dass Ihre Objekte als Garbage Collection erfasst werden.

Answer 8

diese: http://www.red-gate.com/Products/ants_profiler/index.htm

Die Speicher- und Leistungsprofil sind genial. Die Fähigkeit, tatsächlich richtige Zahlen zu sehen statt zu raten, macht die Optimierung sehr schnell. Ich habe es bei der Arbeit ein wenig genutzt, um den Speicherbedarf unserer Haupt-App zu reduzieren.

Answer 9

Wenn Ihr nicht verwalteten Objekt wirklich die Ursache des Lecks ist, möchten Sie vielleicht, um es AddMemoryPressure nennen, wenn es nicht verwalteten Speicher und RemoveMemoryPressure ordnet in Finalize/Dispose/wo immer es den nicht verwalteten Speicher freigibt. Dies wird dem GC einen besseren Überblick über die Situation geben, da es möglicherweise nicht erkennt, dass es notwendig ist, die Sammlung anderweitig zu planen.

Answer 10

Seien Sie vorsichtig, wie Sie "leak" definieren. "Verwendet mehr Speicher" oder "verwendet zu viel Speicher" ist nicht dasselbe wie "Speicherleck". Dies gilt insbesondere in einer Umgebung, in der keine Abfälle gesammelt werden. Es kann einfach sein, dass GC den benötigten zusätzlichen Speicher nicht benötigt. Achten Sie auch auf den Unterschied zwischen der Verwendung von virtuellem Speicher und physischem Speicher.

Schließlich sind nicht alle "Speicherlecks" durch "Speicher" Arten von Problemen verursacht. Mir wurde einmal gesagt (nicht gefragt), ein dringendes Speicherleck zu beheben, das dazu führte, dass IIS häufig neu gestartet wurde. In der Tat habe ich Profiling gemacht und festgestellt, dass ich eine Menge Strings durch die StringBuilder-Klasse verwendet habe. Ich habe einen Objektpool (aus einem MSDN-Artikel) für die StringBuilder implementiert, und die Speichernutzung ging erheblich zurück.

IIS wurde immer noch genauso häufig neu gestartet. Dies lag daran, dass kein Speicherleck vorhanden war. Stattdessen gab es nicht verwalteten Code, der als threadsicher galt, aber nicht war.Die Verwendung in einem Web-Service (mehrere Threads) führte dazu, dass der gesamte Heap der C-Laufzeitbibliothek geschrieben wurde. Da niemand nach nicht verwalteten Ausnahmen gesucht hat, hat dies niemand gesehen, bis ich mit AQtime einige Profile von Automated QA erstellt habe. Es hat zufällig ein Ereignisfenster, in dem die Schmerzensschreie aus der C-Laufzeitbibliothek angezeigt wurden.

Platzierte Sperren um die Aufrufe des nicht verwalteten Codes, und das "Speicherleck" ging weg.

Answer 11

Sie erwähnten, dass Sie Ereignisse verwenden. Entfernen Sie die Handler von diesen Ereignissen, wenn Sie mit Ihrem Objekt fertig sind? Ich habe festgestellt, dass "lose" Event-Handler eine Menge Speicherleck-Probleme verursachen, wenn Sie eine Reihe von Handlern hinzufügen, ohne sie zu entfernen, wenn Sie fertig sind.

Answer 12

Die beste Speicherprofilierungswerkzeug für .Net, ist dies:

http://memprofiler.com

Auch während ich hier bin, ist die beste Performance Profiler für .NET ist dies:

http://www.yourkit.com/dotnet/download/index.jsp

Sie sind auch ein gutes Preis-Leistungs-Verhältnis, haben wenig Overhead und sind einfach zu bedienen. Jeder, der es ernst meint mit der .Net-Entwicklung, sollte beides als eine persönliche Investition betrachten und sofort kaufen. Beide haben eine kostenlose Testversion.

Ich arbeite an einer Echtzeit-Spielengine mit über 700.000 Codezeilen, die in C# geschrieben wurden, und habe hunderte von Stunden mit diesen beiden Tools verbracht. Ich habe das Sci Tech Produkt seit 2002 und YourKit! für die letzten drei Jahre. Obwohl ich einige der anderen ausprobiert habe, bin ich immer zu diesen zurückgekehrt.

IMHO, sie sind beide absolut brillant.

Answer 13

Ähnlich wie Charlie Martin, können Sie etwas tun:

static unigned __int64 _foo_id = 0; 
foo::foo() 
{ 
    ++_foo_id; 
    if (_foo_id == MAGIC_BAD_ALLOC_ID) 
     DebugBreak(); 
    std::werr << L"foo::foo @ " << _foo_id << std::endl; 
} 
foo::~foo() 
{ 
    --_foo_id; 
    std::werr << L"foo::~foo @ " << _foo_id << std::endl; 
} 

Wenn Sie es neu erstellen können, auch nur einmal oder zweimal mit der gleichen Zuteilung id, dies können Sie sehen, was genau dann geschieht und dort (natürlich TLS/threading muss auch behandelt werden, wenn nötig, aber ich habe es aus Gründen der Klarheit weggelassen).