So ersetzen Sie Zeilenenden in VIM

Question

Wie kann ich alle Zeilenenden in einer großen Datei (> 100 MB) ersetzen? Ich habe versucht,

:%s/\n/, /g

zu tun, aber es ist zu langsam.

Answer 1

Also, ich ging durch und getestet/timed einige der Antworten, die von anderen Menschen gegeben wurden, plus eine Python-Antwort von mir. Hier ist, was ich habe:

tr:

> time tr "\n" "," <lines> line 
real 0m1.617s 
user 0m0.100s 
sys  0m1.520s 

Python:

> time python -c 'import sys; print sys.stdin.read().replace("\n",", "),' <lines> line 
real 0m1.663s 
user 0m0.060s 
sys  0m1.610s 

awk:

> time awk '{printf("%s, ", $0)}' lines > line         
real 0m1.998s 
user 0m0.390s 
sys  0m1.600s 

Perl:

> time perl -e 'while (<>) { chomp; print "$_, " }' lines > line 
real 0m2.100s 
user 0m0.590s 
sys  0m1.510s 

sed:

> time sed 's/$/, /g' lines > line            
real 0m6.673s 
user 0m5.050s 
sys  0m1.630s 

Hier ist die Datei, die ich verwendet:

> ls -lh lines 
-rw-r--r-- 1 some one 101M 2010-03-04 19:54 lines 
> wc -l < lines 
1300000 
> head -n 3 < lines 
The pretty pink puma pounced on the unsuspecting aardvark, the scientist watched. 
The pretty pink puma pounced on the unsuspecting aardvark, the scientist watched. 
The pretty pink puma pounced on the unsuspecting aardvark, the scientist watched. 
> head -n 1 < lines | wc -c 
82 

Ursprünglich war die Timings in Cygwin genommen wurden, haben sie jetzt getroffen worden mit vollständig aktualisiert ubuntu 9.10. Außerdem wurde die Textdateigröße auf 100 MB mit 80 Zeichen breiten Zeilen erhöht. Wie Sie sehen können, ist alles andere als Sed eine gute Idee.

Answer 2

Verwenden Sie dieses Perl-Skript, um durch Ihre Datei zu gehen; es wäre schneller, als alles mit VIM im Speicher zu halten. Passen Sie die Ausgabe einfach an eine neue Datei an.

#!/usr/local/bin/perl 

while (<>) { 
    $_ =~ s/\n/,/g; 
    print $_; 
} 

Answer 3

Müssen Sie dies in vim tun?

Es gibt ein schönes Unix-Dienstprogramm, das zeichenbasierte Übersetzung durchführt. Es heißt tr. Einige reference.

In Ihrem Fall wäre es:

 
tr "\n" "," < input_file > output_file 

Answer 4

:%s/$/, / von einem :1,$j gefolgt schneller sein könnte. Ansonsten tut es in einem externen Programm:

perl -e 'while (<>) { chomp; print "$_, " }' input_file > output_file 

awk '{printf("%s, ", $0)}' input_file > output_file 

Kennen Sie nicht die Spitze von meinem Kopf, die schnellsten sein würde.

Answer 5

$ more file 
aaaa 
bbbb 
cccc 
dddd 
eeee 

$ awk 'NR>1{printf("%s, ", p)}{p=$0}END{print p}' file 
aaaa, bbbb, cccc, dddd, eeee 

$ sed -e :b -e '$!N;s/\n/, /;tb' file 

Answer 6

Das beste Werkzeug ist sed und Sie können es verwenden mit:! Befehl

so verwendet :!sed -e 's/\n/,/g' % > %.tmp ; cat %.tmp > % ; rm %.tmp'

Sie benötigen eine tmp-Datei mit Änderung erstellen, bevor in der aktuellen Datei integrieren