Spalten mit awk oder sed anordnen?

Question

Ich habe eine Datei, die rund 500 Zeilen und 480K Spalten hat, ich bin verpflichtet, Spalten 2,3 und 4 am Ende zu verschieben. Meine Datei ist eine kommagetrennte Datei, gibt es eine schnellere Möglichkeit, dies mit awk oder sed zu arrangieren?

Answer 1

Sie können unter Lösung versuchen -

perl -F"," -lane 'print "@F[0]"," ","@F[4..$#F]"," ","@F[1..3]"' input.file 

Answer 2

Sie können die Spalten einfach kopieren, das Verschieben dauert bei 480K-Spalten zu lange.

$ awk 'BEGIN{FS=OFS=","} {print $0,$2,$3,$4}' input.file > output.file 

Welche Art von Datenformat ist das?

Answer 3

Testing mit 5 Feldern:

$ cat foo 
1,2,3,4,5 
a,b,c,d,e 
$ cat program.awk 
{ 
    $6=$2 OFS $3 OFS $4 OFS $1 # copy fields to the end and $1 too 
    sub(/^([^,],){4}/,"")  # remove 4 first columns 
    $1=$5 OFS $1    # catenate current $5 (was $1) to $1 
    NF=4      # reduce NF 
} 1        # print 

Run it:

$ awk -f program.awk FS=, OFS=, foo 
1,5,2,3,4 
a,e,b,c,d 

So theoretisch sollte diese Arbeit:

{ 
    $480001=$2 OFS $3 OFS $4 OFS $1 
    sub(/^([^,],){4}/,"") 
    $1=$480000 OFS $1 
    NF=479999 
} 1 

EDIT: es funktioniert hat.

Answer 4

Vielleicht Perl:

perl -F, -lane 'print join(",", @F[0,4..$#F,1,2,3])' file 

oder

perl -F, -lane '@x = splice @F, 1, 3; print join(",", @F, @x)' file 

Ein anderer Ansatz: Reguläre Ausdrücke

perl -lpe 's/^([^,]+)(,[^,]+,[^,]+,[^,]+)(.*)/$1$3$2/' file 

---

Zeit es mit einer 500 Zeilendatei, enthält jede Zeile 480.000 Felder

$ time perl -F, -lane 'print join(",", @F[0,4..$#F,1,2,3])' file.csv > file2.csv 
40.13user 1.11system 0:43.92elapsed 93%CPU (0avgtext+0avgdata 67960maxresident)k 
0inputs+3172752outputs (0major+16088minor)pagefaults 0swaps 

$ time perl -F, -lane '@x = splice @F, 1, 3; print join(",", @F, @x)' file.csv > file2.csv 
34.82user 1.18system 0:38.47elapsed 93%CPU (0avgtext+0avgdata 52900maxresident)k 
0inputs+3172752outputs (0major+12301minor)pagefaults 0swaps 

Und reine Textmanipulation ist der Gewinner

$ time perl -lpe 's/^([^,]+)(,[^,]+,[^,]+,[^,]+)(.*)/$1$3$2/' file.csv > file2.csv 
4.63user 1.36system 0:20.81elapsed 28%CPU (0avgtext+0avgdata 20612maxresident)k 
0inputs+3172752outputs (0major+149866minor)pagefaults 0swaps 

Answer 5

Eine andere Technik, nur bash:

while IFS=, read -r a b c d e; do 
    echo "$a,$e,$b,$c,$d" 
done < file