Unix-Tool, um doppelte Zeilen aus einer Datei zu entfernen

Question

Ich habe ein Tool, das Tests generiert und die Ausgabe vorhersagt. Die Idee ist, dass ich, wenn ich einen Fehler habe, die Vorhersage mit der tatsächlichen Ausgabe vergleichen und sehen kann, wo sie sich voneinander unterscheiden. Das Problem ist die tatsächliche Ausgabe enthält einige Zeilen zweimal, die diff verwirrt. Ich möchte die Duplikate entfernen, damit ich sie leicht vergleichen kann. Grundsätzlich so etwas wie sort -u aber ohne die Sortierung.

Gibt es ein Unix-Kommandozeilen-Tool, das das kann?

Answer 1

uniq(1)

SYNOPSE

uniq [OPTION] ... [INPUT [OUTPUT]]

BESCHREIBUNG

Discard alle bis auf einen der aufeinanderfolgenden identischen Zeilen von INPUT (oder Standardeingang), Schreiben auf OUTPUT (oder Standardausgang).

Oder, wenn Sie auch nicht benachbarte doppelte Zeilen entfernen möchten, dieses Fragment von Perl wird es tun:

while(<>) { 
    print $_ if (!$seen{$_}); 
    $seen{$_}=1; 
} 

Answer 2

Wenn Sie interessiert sind benachbarte doppelte Zeilen in Entfernen verwenden uniq .

Wenn Sie alle doppelte Zeilen entfernen möchten, nicht nur benachbarte, dann ist es schwieriger.

Answer 3

Hier ist, was ich kam, während ich auf eine Antwort hier wartete (obwohl die erste (und akzeptierte) Antwort in etwa 2 Minuten kam). Ich habe diese Substitution in VIM:

%s/^\(.*\)\n\1$/\1/ 

Das heißt: für Linien sehen, wo nach dem Newline wir das gleiche wie vorher haben, und ersetzen Sie sie nur mit dem, was wir in der ersten Zeile erfasst.

uniq ist definitiv einfacher, obwohl.

Answer 4

Komplementär zu den uniq Antworten, die gut funktionieren, wenn Sie nichts dagegen haben sort Ihre Datei zuerst. Wenn Sie nicht benachbarte Zeilen entfernen müssen (oder wenn Sie Duplikate entfernen wollen, ohne die Dateien neu anordnen), die folgenden Perl Einzeiler sollte es tun (bestohlen here):

cat textfile | perl -ne '$H{$_}++ or print' 

Answer 5

Hier ist eine awk Implementierung , falls die Umgebung keine Perle hat (noch keine gesehen)! PS: Wenn mehrere Zeilen doppelt vorhanden sind, werden doppelte Ausgaben gedruckt.

awk '{ 

# Cut out the key on which duplicates are to be determined. 
key = substr($0,2,14) 

#If the key is not seen before, store in array,else print 
if (! s[key]) 
    s[key] = 1; 
else 
    print key; 
}'