Wählen Sie eindeutige oder unterschiedliche Werte aus einer Liste in UNIX Shell-Skript

Question

Ich habe ein Ksh-Skript, das eine lange Liste von Werten zurückgibt, Newline getrennt, und ich möchte nur die eindeutigen/unterschiedliche Werte sehen. Es ist möglich, dies zu tun?

Zum Beispiel, sagen meine Ausgabe ist Dateiendungen in einem Verzeichnis:

tar 
gz 
java 
gz 
java 
tar 
class 
class 

ich wie eine Liste sehen wollen:

tar 
gz 
java 
class 

Answer 1

Vielleicht möchten um die uniq und sort Anwendungen zu betrachten.

 
./yourscript.ksh | sort | uniq 

(FYI, ja, die Art ist in dieser Befehlszeile erforderlich, uniq Streifen nur doppelte Zeilen, die unmittelbar nach einander sind)

EDIT:

Im Gegensatz zu dem, was gewesen ist geschrieben von Aaron Digulla in Bezug auf uniq 's Kommandozeilenoptionen:

Gegeben die folgenden Eingabe:

 
class 
jar 
jar 
jar 
bin 
bin 
java 

uniq gibt alle Zeilen genau einmal:

 
class 
jar 
bin 
java 

uniq -d gibt alle Zeilen, die mehr als einmal erscheinen, und es wird sie einmal drucken:

 
jar 
bin 

uniq -u gibt alle Zeilen, die genau einmal angezeigt werden, und es wird einmal gedruckt:

 
class 
java 

Answer 2

Pipe sie durch sort und uniq. Dies entfernt alle Duplikate.

uniq -d gibt nur die Duplikate, uniq -u gibt nur die Einzigen (Streifen Duplikate).

Answer 3

Für größere Datenmengen, wo möglicherweise nicht wünschenswert sein, sortieren, können Sie auch folgende Perl-Skript verwenden:

./yourscript.ksh | perl -ne 'if (!defined $x{$_}) { print $_; $x{$_} = 1; }' 

Diese im Grunde nur jede Zeile ausgegeben, erinnert sich, so dass es nicht ausgegeben hat es wieder.

Es hat den Vorteil gegenüber der "sort | uniq" -Lösung, dass im Vorfeld keine Sortierung erforderlich ist.

Answer 4

Mit zsh Sie dies tun können:

zsh-5.0.0[t]% cat infile 
tar 
more than one word 
gz 
java 
gz 
java 
tar 
class 
class 
zsh-5.0.0[t]% print -l "${(fu)$(<infile)}" 
tar 
more than one word 
gz 
java 
class 

Oder Sie verwenden AWK:

zsh-4.3.9[t]% awk '!_[$0]++' infile  
tar 
more than one word 
gz 
java 
class 

Answer 5

./script.sh | sort -u 

Dies ist die gleiche wie monoxide'sanswer, aber ein bisschen mehr prägnant.

Answer 6

Einmalig, wie gewünscht, (aber nicht sortiert);
verwendet weniger Systemressourcen für weniger als ~ 70 Elemente (wie mit der Zeit getestet);
geschrieben Eingang nehmen von stdin,
(oder zu ändern, und dies in einem anderen Skript):
(Bash)

bag2set() { 
    # Reduce a_bag to a_set. 
    local -i i j n=${#a_bag[@]} 
    for ((i=0; i < n; i++)); do 
     if [[ -n ${a_bag[i]} ]]; then 
      a_set[i]=${a_bag[i]} 
      a_bag[i]=$'\0' 
      for ((j=i+1; j < n; j++)); do 
       [[ ${a_set[i]} == ${a_bag[j]} ]] && a_bag[j]=$'\0' 
      done 
     fi 
    done 
} 
declare -a a_bag=() a_set=() 
stdin="$(</dev/stdin)" 
declare -i i=0 
for e in $stdin; do 
    a_bag[i]=$e 
    i=$i+1 
done 
bag2set 
echo "${a_set[@]}" 

Answer 7

Mit AWK Sie tun können, finde ich es schneller als Art

./yourscript.ksh | awk '!a[$0]++'