Lesen Sie alle aber letzte Zeile der CSV-Datei in Pandas

Question

ich CSV-Dateien, die ich in Pandas lesen mit:

#!/usr/bin/env python 

import pandas as pd 
import sys 

filename = sys.argv[1] 
df = pd.read_csv(filename) 

Leider ist die letzte Zeile dieser Dateien oft korrupt ist (hat die falsche Anzahl von Kommas). Zur Zeit öffne ich jede Datei in einem Texteditor und entferne die letzte Zeile.

Ist es möglich, die letzte Zeile im selben Python/Pandas-Skript zu entfernen, das die CSV lädt, um zu sparen, dass Sie diesen zusätzlichen, nicht automatisierten Schritt ausführen müssen?

Answer 1

Pass error_bad_lines=False und es wird diese Zeile überspringen automatisch

df = pd.read_csv(filename, error_bad_lines=False) 

Der Vorteil error_bad_lines ist es überspringen wird und nicht bork auf irgendwelchen fehlerhaften Linien, aber wenn die letzte Zeile duff ist immer dann skipfooter=1 ist besser

Dank @DexterMorgan für den Hinweis, dass skipfooter Option zwingt die Engine, die Python-Engine zu verwenden, die langsamer ist als die c-Engine zum Parsen eines CSV.

Answer 2

Gelesen http://pandas.pydata.org/pandas-docs/version/0.16.2/generated/pandas.read_csv.html. Hier kann das Argument "Skipfooter" verwendet werden, um keine der Zeilen anzugeben, die nicht aus der .csv-Datei vom Ende gelesen werden sollen. Möge es dir helfen.