mehrere Textdateien kombinieren und Duplikate entfernen

Question

Ich habe etwa 350 Textdateien (und jede Datei ist etwa 75 MB). Ich versuche, alle Dateien zu kombinieren und doppelte Einträge zu entfernen. Die Datei ist in folgendem Format:

ip1,dns1 
ip2,dns2 
... 

ich einen kleinen Shell-Skript schrieb diese

#!/bin/bash 
for file in data/* 
do 
    cat "$file" >> dnsFull 
done 
sort dnsFull > dnsSorted 
uniq dnsSorted dnsOut 
rm dnsFull dnsSorted 

zu tun oft ich mache diese Verarbeitung und frag dich, ob es etwas gibt, was ich tun konnte zu verbessern die Verarbeitung beim nächsten Mal wenn ich es ausführe. Ich bin offen für jede Programmiersprache und Vorschläge. Vielen Dank!

Answer 1

Als Erstes verwenden Sie nicht die volle Leistung von cat. Die Schleife kann nur durch

ersetzt werden, vorausgesetzt, dass die Datei anfänglich leer ist.

Dann gibt es all diese temporären Dateien, die Programme zwingen, auf Festplatten zu warten (normalerweise die langsamsten Teile in modernen Computersystemen). Verwenden Sie eine Pipeline:

cat data/* | sort | uniq > dnsOut 

Dies allein da sort noch verschwenderisch ist, kann das tun, was Sie verwenden cat und uniq für; das ganze Skript kann durch

sort -u data/* > dnsOut 

ersetzt werden, wenn dies noch nicht schnell genug ist, dann erkennen, dass Sortierung nimmt O (n lg n) Zeit, während der Deduplizierung in linearer Zeit mit Awk getan werden kann:

awk '{if (!a[$0]++) print}' data/* > dnsOut