Ich habe eine 6 MB große CSV-Datei. Ich möchte die Daten nach Spalte A & Spalte C filtern, so dass ich alle Duplikate entfernen muss. Was ist der einfachste Weg dies zu tun? Jede Hilfe wird sehr geschätzt.Finden von eindeutigen Werten aus einer Datei
Verwenden Sie cut oder awk, um Felder auszuwählen. Sortieren und uniq zum Entfernen von Duplikaten. Zum Beispiel
awk -F"," '{print $1}' A.csv|sort|uniq
cat foo.csv | cut -f2 -d , | sort | uniq
Es wird Ihnen eine eindeutige ID aus der 2. Säule
cat foo.csv | cut -f1 -d , | sort | uniq
Es wird Sie eindeutige IDs aus der 1. Säule
-f <number> : column number
-d <space><delimiter> : file delimiter
Sprache geben ...... .? –
Der einfachste Weg ist, was ich will – mousey