schnellste Weg Tab-getrennte Datei in CSV in Linux konvertieren

Question

Ich habe eine Tab-getrennte Datei, die über 200 Millionen Zeilen hat. Was ist der schnellste Weg in Linux, um dies in eine CSV-Datei zu konvertieren? Diese Datei enthält mehrere Zeilen mit Kopfzeileninformationen, die ich im Laufe der Zeit entfernen muss, aber die Anzahl der Kopfzeilen ist bekannt. Ich habe Vorschläge für sed und gawk gesehen, aber ich frage mich, ob es eine "bevorzugte" Wahl gibt.

Zur Klarstellung, es gibt keine eingebetteten Registerkarten in dieser Datei.

Answer 1

Wenn alles, was Sie tun müssen, ist übersetzen alle Tab-Zeichen zu Komma-Zeichen, tr ist wahrscheinlich der Weg zu gehen.

Der leere Raum hier ist eine wörtliche tab:

$ echo "hello world" | tr "\\t" "," 
hello,world 

Natürlich, wenn Sie Registerkarten innerhalb Stringliterale in der Datei eingebettet sind, das diese ebenfalls falsch übersetzen wird; eingebettete Literalregister wären jedoch ziemlich unüblich.

Answer 2

Wenn Sie über eingebettete Kommas besorgt sind, dann müssen Sie eine etwas intelligentere Methode verwenden. Hier ist ein Python-Skript, das TSV Zeilen von stdin nimmt und schreibt CSV Zeilen an stdout:

import sys 
import csv 

tabin = csv.reader(sys.stdin, dialect=csv.excel_tab) 
commaout = csv.writer(sys.stdout, dialect=csv.excel) 
for row in tabin: 
    commaout.writerow(row) 

Run es von einem Shell wie folgt:

python script.py <input.tsv> output.csv 

Answer 3

vorausgesetzt, Sie nicht Header ändern möchten, und unter der Annahme, Sie haben keine eingebetteten Registerkarten

NR> 1 überspringt den ersten Header. Sie haben erwähnt, dass Sie wissen, wie viele Zeilen des Headers Sie verwenden, also verwenden Sie die richtige Nummer für Ihren eigenen Fall. damit müssen Sie auch keine anderen externen Befehle aufrufen. nur ein awk Befehl macht den Job.

ein anderer Weg, wenn Sie leere Spalten haben und Sie sich darum kümmern.

awk 'NR>1{gsub("\t",",")}1' file 

unter Verwendung von sed

sed '2,$y/\t/,/' file #skip 1 line header and translate (same as tr) 

Answer 4

sed -e 's/"/\\"/g' -e 's/<tab>/","/g' -e 's/^/"/' -e 's/$/"/' infile > outfile 

Verdammt die Kritiker, Zitat alles, ist CSV nicht.

<tab> ist das eigentliche Tab-Zeichen. Es hat nicht für mich funktioniert. In bash, benutze^V, um es einzugeben.

Answer 5

perl -lpe 's/"/""/g; s/^|$/"/g; s/\t/","/g' <input.tab> output.csv 

Perl ist in der Regel schneller bei dieser Art von Sache als die Sed, Awk und Python.

Answer 6

folgende awk oneliner unterstützt zitiert + quote-Flucht

printf "flop\tflap\"" | awk -F '\t' '{ gsub(/"/,"\"\"\"",$i); for(i = 1; i <= NF; i++) { printf "\"%s\"",$i; if(i < NF) printf "," }; printf "\n" }' 

gibt

"flop","flap"""" 

Answer 7

@ ignacio-Vazquez-Abrams ‚s Python Lösung groß ist! Für Personen, die andere Registerkarten mit Trennzeichen analysieren möchten, können Sie in der Bibliothek ein beliebiges Trennzeichen festlegen.Hier ist meine modifizierte Version Rohr getrennte Dateien zu handhaben:

import sys 
import csv 

pipein = csv.reader(sys.stdin, delimiter='|') 
commaout = csv.writer(sys.stdout, dialect=csv.excel) 
for row in pipein: 
    commaout.writerow(row) 

Answer 8

• Wenn Sie die ganze tsv-Datei in eine CSV-Datei umwandeln möchten:

  $ cat data.tsv | tr "\\t" "," > data.csv 
  

  ---

• Wenn Sie möchten, um einige Felder wegzulassen:

  $ cat data.tsv | cut -f1,2,3 | tr "\\t" "," > data.csv 
  

  Die Der obige Befehl konvertiert die Datei "data.tsv" in die Datei "data.csv" , die nur die ersten drei Felder enthält.