Entfernen Sie bekannte genaue Zeile in großen csv

Question

Ich habe eine ~ 220 Millionen Zeile, 7 Spalte CSV-Datei. Ich muss Zeile 2636759 entfernen. Diese Datei ist 7.7 GB, mehr als in den Speicher passen. Ich bin am vertrautesten mit R, könnte dies aber auch in Python oder Bash tun.

Ich kann diese Datei nicht in einem Vorgang lesen oder schreiben. Was ist der beste Weg, um diese Datei inkrementell auf der Festplatte zu erstellen, anstatt dies alles im Speicher zu tun?

Ich habe versucht, dies auf SO zu finden, aber habe nur gefunden, wie man das mit Dateien macht, die klein genug sind, um im Speicher zu lesen/schreiben, oder mit Zeilen, die am Anfang der Datei stehen.

Answer 1

Eine Python-Lösung:

import os 
with open('tmp.csv','w') as tmp: 

    with open('file.csv','r') as infile: 
     for linenumber, line in enumerate(infile): 
      if linenumber != 10234: 
       tmp.write(line) 

# copy back to original file. You can skip this if you don't 
# mind (or prefer) having both files lying around   
with open('tmp.csv','r') as tmp: 
    with open('file.csv','w') as out: 
     for line in tmp: 
      out.write(line) 

os.remove('tmp.csv') # remove the temporary file 

Diese dupliziert die Daten, die nicht optimal sein kann, wenn Speicherplatz ein Problem. Ein an Ort und Stelle Schreib wird komplizierter sein, ohne dass die gesamte Datei in den Arbeitsspeicher geladen ersten

---

Der Schlüssel ist, dass Python unterstützt natürlich files as iterables Handhabung. Das bedeutet, es kann lazily ausgewertet werden, und Sie werden nie

---

Ich mag diese Lösung auf einmal die ganze Sache im Speicher zu halten brauchen, wenn das primäre Anliegen nicht rohe Geschwindigkeit ist, weil Sie die ersetzen Linie linenumber != VALUE mit jedem bedingten Test zum Beispiel Linien Ausfiltern, die enthalten ein bestimmtes Datum

test = lambda line : 'NOVEMBER' in line 
with open('tmp.csv','w') as tmp: 
    ... 
    if test(line): 
    ... 

In-place read-writes und memory mapped file objects (was deutlich schneller sein können) verlangen, werden deutlich mehr Buchhaltung

Answer 2

Verwendung sed '2636759d' file.csv > fixedfile.csv

Als Test für eine 1.3G csv 40,001 Linie, Linie entfernen 40,000 diese Weise 0m35.710s nimmt. Die Eingeweide der Python-Lösung von @en_Knight (einfach die Zeile entfernen und in eine temporäre Datei schreiben) sind ~ 2 Sekunden schneller für die gleiche Datei.

bearbeiten OK sed (oder einige Implementierungen) möglicherweise nicht (basierend auf dem Feedback von Frages)

Man könnte im Klar schlag, Zeile n aus einer Datei von N Zeilen zu entfernen, file.csv, können Sie do head -[n-1] file.csv > file_fixed.csv und tail -[N-n] file.csv >> file_fixed.csv (in beiden wird der Ausdruck in Klammern durch eine einfache Zahl ersetzt).

Um dies zu tun, obwohl Sie wissen müssen N. Die Python-Lösung ist besser ...

Answer 3

Sie können dies auch in R um eine Zeile zu einem Zeitpunkt mit readLines Lesen und Schreiben jeder Zeile mit einer Ausnahme mit writeLines

Für eine Lösung ähnlich der in python:

con <- file('test.csv', 'r') 
out_con <- file('tmp.csv', 'w') 
bad_line <- 2636759 
ctr <- 1 
while (length(line <- readLines(con, n=1, warn=FALSE)) > 0){ 
    if (ctr != bad_line) 
    writeLines(line, out_con) 
    ctr <- ctr + 1 
} 

aber beachten Sie, das ist VIEL langsamer als Python (dauert ~ 3m40s auf der 40.000 Zeile Datei, wo sed 30s dauerte). Möglicherweise würde die Brockengröße n die Dinge beschleunigen, aber sed oder python scheinen viel einfacher.