Wie wird eine 3G-Byte-Zugriffsprotokolldatei sortiert?

Question

Hallo allerseits: Jetzt habe ich ein Tomcat-Zugriffsprotokoll mit 3G-Bytes namens urls, jede Zeile ist eine URL. Ich möchte jede URL zählen und diese URLs nach der Anzahl der URLs sortieren. Ich habe es so gemacht:

awk '{print $0}' urls | sort | uniq -c | sort -nr >> output 

Aber es dauerte wirklich lange Zeit, um diesen Job zu beenden, es dauerte schon 30 Minuten und es funktioniert immer noch. Protokolldatei ist wie unten:

/open_api/borrow_business/get_apply_by_user 
/open_api/borrow_business/get_apply_by_user 
/open_api/borrow_business/get_apply_by_user 
/open_api/borrow_business/get_apply_by_user 
/loan/recent_apply_info?passportId=Y20151206000011745 
/loan/recent_apply_info?passportId=Y20160331000000423 
/open_api/borrow_business/get_apply_by_user 
... 

Gibt es eine andere Art und Weise, die ich verarbeiten konnte und sortieren ein 3G-Bytes-Datei? Danke im Voraus!

Answer 1

Ich bin mir nicht sicher, warum Sie awk im Moment verwenden - es tut nichts nützliches.

Ich würde vorschlagen, so etwas wie dies mit:

awk '{ ++urls[$0] } END { for (i in urls) print urls[i], i }' urls | sort -nr 

Diese eine Zählung jeder URL aufbaut und sortiert dann die Ausgabe.

Answer 2

erzeugt I eine Beispieldatei von 3.200.000 Zeilen, zu 3 GB Höhe mit Perl wie folgt aus:

perl -e 'for($i=0;$i<3200000;$i++){printf "%d, %s\n",int rand 1000, "0"x1000}' > BigBoy 

I dann versucht, es in einem Schritt das Sortieren, gefolgt von einem in 2 Hälften aufgeteilt und die Hälften getrennt Sortier und Mischen der Ergebnisse, dann Aufteilen in 4 Teile und getrenntes Sortieren und Zusammenführen, dann Aufteilen in 8 Teile und getrenntes Sortieren und Zusammenführen.

Dies führte, auf meiner Maschine zumindest in einer sehr signifikanten Beschleunigung.

Hier ist das Skript. Der Dateiname ist fest codiert als BigBoy, könnte aber leicht geändert werden und die Anzahl der Teile, in die die Datei aufgeteilt werden soll, muss als Parameter angegeben werden.

#!/bin/bash -xv 
################################################################################ 
# Sort large file by parts and merge result 
# 
# Generate sample large (3GB with 3,200,000 lines) file with: 
# perl -e 'for($i=0;$i<3200000;$i++){printf "%d, %s\n",int rand 1000, "0"x1000}' > BigBoy 
################################################################################ 
file=BigBoy 
N=${1:-1} 
echo $N 
if [ $N -eq 1 ]; then 
    # Straightforward sort 
    sort -n "$file" > sorted.$N 
else 
    rm sortedparts-* parts-* 2> /dev/null 
    tlines=$(wc -l < "$file") 
    echo $tlines 
    ((plines=tlines/N)) 
    echo $plines 
    split -l $plines "$file" parts- 
    for f in parts-*; do 
     sort -n "$f" > "sortedparts-$f" & 
    done 
    wait 
    sort -n -m sortedparts-* > sorted.$N 
fi 

Unnötig zu sagen, die resultierenden sortierten Dateien identisch sind :-)