schnelle, genaue, zuverlässige Möglichkeit, unerwünschte Werte aus einer CSV-Datei zu entfernen

Question

Ich habe eine große csv-Datei, die eine erhebliche Menge an schmutzigen Daten enthält, ich möchte es ein wenig aufräumen, indem Sie alle entfernen Werte, die nicht unbedingt notwendig sind.

Here ist die Datei, über die ich spreche.

Es hat die Komponenten:

Website,Title,Start Date,Employer,Location,lat,lon,Country,Skills11,Jobs

aber ich möchte alle auszulöschen, aber:

Employer,Location,Country,Jobs

Gibt es ein bestimmtes Werkzeug, das für das in einzigartiger Weise geeignet ist Aufgabe?

Oder hat jemand vielleicht ein praktisches Python-Skript, das den Job erledigt?

Answer 1

Sie können es einfach mit Python schreiben in eine temporäre Datei und ersetzt dann das Original.

import csv 
from operator import itemgetter 
from tempfile import NamedTemporaryFile 
from shutil import move 

with open("edsa_data.csv") as f, NamedTemporaryFile(dir=".", delete=False) as tmp: 
    # itertools.imap python2 
    csv.writer(tmp).writerows(map(itemgetter(3, 5, 7, 9), csv.reader(f))) 
move(tmp.name, "edsa_data.csv") 

Für eine allgemeinere Ansatz:

import csv 
from operator import itemgetter 
from tempfile import NamedTemporaryFile 
from shutil import move 




def keep_columns(csv_f, keep_cols, **kwargs): 
    with open(csv_f) as f, NamedTemporaryFile("w", dir=".", delete=False) as tmp: 
     csv.writer(tmp, **kwargs).writerows(itemgetter(*keep_cols)(row) 
              for row in csv.reader(f, **kwargs)) 
    move(tmp.name, csv_f) 


keep_columns("edsa_data.csv", (3, 4, 7, 9)) 

Für die kwargs Sie September passieren kann = ""skipinitialspace = True etc ..

Answer 2

Für eine einfache Wartung, Ich würde ein DictReader/DictWriter Paar verwenden.

import csv 
import sys 

with open(sys.argv[1], 'r') as csv_infile: 
    with open(sys.argv[2], 'w') as csv_outfile: 
     csv_in = csv.DictReader(csv_infile) 
     csv_out = csv.DictWriter(
      csv_outfile, 
      ['Employer','Location','Country','Jobs'], 
      extrasaction='ignore') 
     csv_out.writeheader() 
     csv_out.writerows(csv_in)