grep nicht sehr gut auf großen Dateien, gibt es eine Alternative?

Question

Ich habe ein Diff, das im Wesentlichen entweder zusätzliche eindeutige Zeilen oder Zeilen, die in der Datei verschoben wurden, und damit ihre Zeilennummern geändert haben. Um herauszufinden, was wirklich eine neue Ergänzung ist, betreiben ich diesen kleinen Perl-Schnipsel, die ‚gelöst‘ Zeilen aus den ‚ungelöst‘ Linien zu trennen:

perl -n -e' 
    /^\-([^\-].*?)\([^,\(]+,\d+,\d+\).*$/ && do { print STDOUT "$1\n"; next; }; 
    /^\+([^\+].*?)\([^,\(]+,\d+,\d+\).*$/ && do { print STDERR "$1\n"; next; }; 
' "$delta" 1>resolved 2>unresolved 

Das ist ziemlich schnell in der Tat und macht den Job, ein 6000 Trennung + Linie diff in zwei 3000+ Zeilen-Dateien, entfernen Sie alle Verweise auf Zeilennummern und einheitliche diff-Dekoration. Als nächstes kommt der grep-Befehl, der bei 100% CPU zu laufen scheint für fast 9 Minuten (real): im Wesentlichen

grep -v -f resolved unresolved 

Dies wird alle aufgelösten Linien aus der ungelösten Datei zu entfernen. Die Ausgabe, nach 9 Minuten, ist zufällig 9 Zeilen der Ausgabe - die eindeutigen Ergänzungen oder unaufgelösten Zeilen.

Erstens, wenn ich Grep in der Vergangenheit benutzt habe, war es ziemlich gut, also warum ist es in diesem Fall außergewöhnlich langsam und CPU-hungrig?

Zweitens gibt es eine effizientere Alternative zum Entfernen von Zeilen aus einer Datei, die in einer anderen enthalten sind?

Answer 1

Grep analysiert diese Datei wahrscheinlich vollständig für jedes gefundene Match. Sie können "fgrep" versuchen, wenn es auf Ihrem System vorhanden ist, oder grep -F, wenn dies nicht der Fall ist, was grep dazu zwingt, den Aho-Corasick String-Matching-Algorithmus (http://en.wikipedia.org/wiki/Aho%E2%80%93Corasick_string_matching_algorithm) zu verwenden, der alle Strings gleichzeitig abgleicht Durchlaufen der Datei.

Answer 2

Wenn die Linien über die beiden Dateien angepasst werden sollen genau übereinstimmen müssen, können Sie sortieren und uniq verwenden, um die Arbeit zu erledigen:

cat resolved resolved unresolved | sort | uniq -u 

Die einzigen nicht-duplizierte Linien in der Pipeline oben Willen Linien in ungelöst sein, die nicht in aufgelöst sind. Beachten Sie, dass es wichtig ist, aufgelöst zweimal im Befehl cat anzugeben: andernfalls wird das uniq auch Zeilen auswählen, die für diese Datei eindeutig sind. Dies setzt voraus, dass aufgelöst und nicht aufgelöste hatte keine doppelten Zeilen zu beginnen. Aber das ist recht einfach zu bewältigen: gerade Art und uniq sie zuerst

sort resolved | uniq > resolved.uniq 
sort unresolved | uniq > unresolved.uniq 

Auch habe ich festgestellt fgrep zu deutlich schneller, wenn ich versuche, feste Strings übereinstimmen, so dass möglicherweise eine Alternative sein.