Awk Problem, doppelte Zeilen in mehreren Dateien gleichzeitig.

Question

Ich habe ein Problem mit der Formatierung der Ausgabe unten.

Ich habe doppelte Zeilen in vielen Dateien SHORT_LIST.a SHORT_LIST.b SHORT_LIST.c, aber es kann viele, viele mehr geben.

Die Zeile "test1" existiert in allen drei Dateien, ebenso die Zeichenfolge "sample".

Die Zeile "Test" existiert in zwei Dateien, aber existiert mehr als einmal in einer der Dateien, ich möchte es nur einmal pro Dateiname ausgeben lassen.

function check_duplicates { 

awk 'END { 
    for (R in rec) { 
    #split out the SHORT_LIST files 
    n = split(rec[R], t, "/SHORT_LIST") 
    #printf n dup[n] 
    count = 0 
if (n > 2) 
dup[n] = dup[n] ? dup[n] RS sprintf(R, rec[R]) : 
    sprintf("\t%-20s %s ", R, rec[R]); 
} 
for (D in dup) { 
    ((count++)) 
    printf "%s\n \n", d 
    printf count "). Duplicate record(s) found in the following files: " dup[D] 
    } 
    } 
{ 
    # build an array named rec (short for record), indexed by 
    # the content of the current record ($0), concatenating 
    # the filenames separated by/as values 
    rec[$0] = rec[$0] ? rec[$0] "\n \t" FILENAME : FILENAME 
    }' $SITEFILES 

    } 

check_duplicates 

Stromausgang unter:

Duplizieren in den folgenden Dateien Datensätze:

1). Doppelte Eintragung (en) in den folgenden Dateien: test1
SHORT_LIST.a SHORT_LIST.b SHORT_LIST.c Probe

2). Duplizieren Datensatz (s) gefunden in den folgenden Dateien: Test
SHORT_LIST.c SHORT_LIST.b SHORT_LIST.b SHORT_LIST.b

3). Doppelte Eintragung (en) in den folgenden Dateien:/path/to/file
SHORT_LIST.a SHORT_LIST.c testa

gewünschte Ausgabe unter:

doppelte Datensätze in den folgenden Dateien:

1). Doppelte Eintragung (en) in den folgenden Dateien: test1
SHORT_LIST.a SHORT_LIST.b SHORT_LIST.c

2). Doppelte Eintragung (en) in den folgenden Dateien: Probe
SHORT_LIST.a SHORT_LIST.b SHORT_LIST.c

3). Duplizieren Datensatz (s) gefunden in den folgenden Dateien: Test
SHORT_LIST.c SHORT_LIST.b

4). Doppelte Eintragung (en) in den folgenden Dateien:/path/to/file
SHORT_LIST.a SHORT_LIST.c

5). Doppelte Eintragung (en) in den folgenden Dateien: testa SHORT_LIST.a SHORT_LIST.c

Irgendwelche Vorschläge wäre sehr dankbar, ich habe Probleme mit diesem Grad an AWK.

Answer 1

ich spaltete es durch mehrere Dateien aus, und in derselben Datei, habe ich auch in Sachen setzen, damit für Kommentare ignoriert werden, auch Sie diese mit weißen Raum tun könnte, usw.

Vielen Dank @Karakfa Ihre Antwort war erstaunlich, danke.

function check_duplicates { 
#Check multiple files for duplicates. 
    awk ' 
    FNR==1{files[FILENAME]} 
      {if((FILENAME, $0) in a) dupsInFile[FILENAME] 
      else 
      {a[FILENAME, $0] 
       dups[$0] = $0 in dups ? (dups[$0] RS FILENAME) : FILENAME 
       count[$0]++}} 
       #ignore comment lines 
       {if ($0 ~ /#/) { 
        delete dups[$0] 
       }} 
    #Print duplicates in more than one file 
      END{for(k in dups) 
      {if(count[k] > 1) 
       {print ("\n\n\tDuplicate line found: " k) "\n\tIn the following file(s)" 
       print dups[k] }} 
      printf "\n"; 


     }' $SITEFILES 
#Check single files for duplicates.  
awk ' 
NR { 
    b[$0]++ 
    } 
    #ignore comment lines 
     $0 in b { 
      if ($0 ~ /#/) { 
      delete b[$0] 
         } 
         if (b[$0]>1) { 
         print ("\n\n\tDuplicate line found: "$0) "\n\tIn the following file" 
         print FILENAME 
         delete b[$0] 
         } 
    }' $SITEFILES 


    } 

Answer 2

You can follow this template and fix the output format as desired 

$ awk -f dups.awk fa fb fc 

dups for : /path/to/file in files 
fa fc 
dups for : test in files 
fa fb fc 
dups for : sample in files 
fa fb fc 
no dups in 
fc 

$ cat dups.awk 

    FNR==1{files[FILENAME]} 
     {if((FILENAME, $0) in a) dupsInFile[FILENAME] 
     else 
      {a[FILENAME, $0] 
      dups[$0] = $0 in dups ? (dups[$0] FS FILENAME) : FILENAME 
      count[$0]++}} 
    END{for(k in dups) 
      {if(count[k] > 1) 
       {print ("dups for : " k) " in files" 
       print dups[k]}} 
     for(f in dupsInFile) delete files[f]; 
     print "no dups in"; 
     for(f in files) printf "%s", f FS; 
     printf "\n"; 
    } 

wo

$ head f{a,b,c} 
==> fa <== 
test 
test 
test1 
sample 
/path/to/file 

==> fb <== 
test 
test 
sample 

==> fc <== 
test 
sample 
/path/to/file 

ps. Geben Sie immer eine Beispieleingabe ein.

Answer 3

Vielleicht so etwas wie

awk '{print FILENAME "\t" $0}' $SITEFILES \ 
| sort \ 
| uniq -c -f1 \ 
| awk "{if ($1 + .0 != 1) print $0}' 

werden Sie auf diese praktische

Ohne kleine Beispieldatensätze, es ist nicht mehr zu tun gestartet.

IHTH