Awk Muster entspricht immer letzten Datensatz?

Question

Ich bin dabei, von Zsh zu Bash zu wechseln, und ich muss ein Bash-Skript erstellen, das doppelte Einträge in $PATH entfernen kann, ohne die Einträge neu zu ordnen (also keine sort -d Magie). zsh hat einige nette Array-Handling-Shortcuts, die es einfach machen, dies effizient zu tun, aber mir sind solche Verknüpfungen in bash nicht bekannt. Ich bin auf this answer gestoßen, was mich 90% des Weges dorthin gebracht hat, aber es gibt ein kleines Problem, das ich gerne besser verstehen würde. Es scheint, dass wenn ich diesen awk-Befehl ausführe, der letzte falsch bearbeitete Datensatz dem Muster entspricht.

$ awk 'BEGIN{RS=ORS=":"}!a[$0]++' <<<"aa:bb:cc:aa:bb:cc" 
aa:bb:cc:cc 
$ awk 'BEGIN{RS=ORS=":"}!a[$0]++' <<<"aa:bb:cc:aa:bb" 
aa:bb:cc:bb 
$ awk 'BEGIN{RS=ORS=":"}!a[$0]++' <<<"aa:bb:cc:aa:bb:cc:" # note trailing colon 
aa:bb:cc: 

Ich verstehe nicht, awk gut genug, um zu wissen, warum es so verhält, aber ich habe es geschaffen, durch Verwendung eines Zwischen Array wie so um das Problem zu umgehen.

array=($(awk 'BEGIN{RS=":";ORS=" "}!a[$0]++' <<<"aa:bb:cc:aa:bb:cc:")) 
# Use a subshell to avoid modifying $IFS in current context 
echo $(export IFS=":"; echo "${array[*]}") 
aa:bb:cc 

Dies scheint eine suboptimale Lösung jedoch so meine Frage ist: Habe ich etwas falsch in dem awk-Befehl, der falsch positive Ergebnisse auf dem Endaufzeichnung verarbeitet verursacht?

Answer 1

Der letzte Datensatz in Ihrer ursprünglichen Zeichenfolge ist cc\n, der sich von cc unterscheidet. Wenn sie nicht sicher, was in jeder Sprache in jedem Programm passiert, einige print-Anweisungen ist das Hinzufügen Schritt 1 zu Debugging/Untersuchung:

$ awk 'BEGIN{RS=ORS=":"} {print "<"$0">"}' <<<"aa:bb:cc:aa:bb:cc" 
<aa>:<bb>:<cc>:<aa>:<bb>:<cc 
>:$ 

Wenn Sie die RS wollen : oder \n dann Zustand sein, genau das (mit GNU awk mindestens):

$ awk 'BEGIN{RS="[:\n]"; ORS=":"} !a[$0]++' <<<"aa:bb:cc:aa:bb:cc" 
aa:bb:cc:$ 

die $ in allen oben genannten ist meine Aufforderung.

Answer 2

Eine weitere mögliche Abhilfe statt Bash-Array-Lösung

$ echo "aa:bb:cc:aa:bb:cc" | tr ':' '\n' | awk '!a[$0]++' | paste -sd: 
aa:bb:cc