Excel-Datei in Python mit XLRD

Question

Ich bin auf der Suche nach einer Excel-Datei (xlsx), die etwa 35 MB ist und hat fast 100k Zeilen von Daten in eine SQLite-Datenbank für einige Forschung. Die Datei hat ungefähr 40 Spalten und ich möchte vielleicht Spalten selektiv in eine SQLite DB laden.

Ich nähere dies als eine einfache XLRD und laden zu Sqlite Problem. Gibt es dafür einen besseren Weg, zum Beispiel ein anderes Modul?

Und angesichts der Menge der Daten, wäre das SQLite-Manager-Plugin für Firefox das richtige Dienstprogramm, um einige der Daten zu sehen?

Answer 1

Ich würde auf jeden Fall pandas für solche Operationen verwenden. Es hat Wrapper für viele Dateneingaben (einschließlich Excel) implementiert. Es basiert auf numpy und bietet eine Reihe statistischer Methoden, die auf Ihre Daten angewendet werden können. Sie können die Spalten Ihrer Wahl einfach auswählen und dann direkt in einer beliebigen Datenbank speichern.

Seine Hauptdatenstruktur heißt Datenrahmen.

Ein Beispiel für den Code zum Laden und Speichern von Daten.

import pandas as pd 
dataframe = pd.read_excel(YOUR_FILE) 
dataframe.to_sql(*args)