alle doppelten Zeilen aus einem Textdokument

Question

I‘versuchen, alle doppelten Zeilen von kleinen Textdokument zu entfernen, mit 300 Zeilen:

 string[] lines = File.ReadAllLines("doc1.txt"); 
     File.WriteAllLines("doc1.txt", lines.Distinct().ToArray()); 

und auf diese Weise:

 List<string> lines = File.ReadAllLines(mypath).ToList(); 
     File.WriteAllLines(mypath, lines.Distinct().ToArray()); 

aber nur einige Zeilen entfernt, Duplikate sind immer noch da, scheint in zwei Fällen, wenn Duplikate nahe beieinander liegen, oder wenn sie zu weit voneinander entfernt sind. Nicht sicher, was ich falsch mache

alle Zeilen in Kleinbuchstaben ohne Interpunktion, erlaubt nur einen Leerraum zwischen Wörtern und mit trimmen für die letzte und erste Leerzeichen oder Satzzeichen in der Zeichenfolge.

Also, wenn ich zwei ähnliche Zeilen nacheinander habe, funktioniert dieser Code nicht für mich, wenn ein Duplikat nach anderen Zeichenketten vor seinem Doppel liegt, dann funktioniert, und wenn Duplikat ist Zeile 7 in der Reihenfolge und ist gleich Zeile 287, funktioniert nicht

Answer 1

Vielleicht sind die Zeilen nicht genau die gleichen, es könnte führende/nachlaufende Leerzeichen geben.

Sie können weiß Räume entfernen, indem das Trim() Methode auf den string Objekte Aufruf einer Linie, die:

File.WriteAllLines("doc1.txt", lines.Select(line => line.Trim()).Distinct().ToArray());