1. Zuhause
  2. Frage und Antwort
  3. ETL mit Python

ETL mit Python

2010-09-21 19 views
11

Ich arbeite an einem Data Warehouse und suche nach einer ETL-Lösung, die Python verwendet. Ich habe mit SnapLogic als ETL gespielt, aber ich habe mich gefragt, ob es andere Lösungen gibt.ETL mit Python

Dieses Data Warehouse steht erst am Anfang. Ich habe noch keine Daten übermittelt. Es wird leicht über 100 Gigs mit der ersten Teilmenge von Daten sein, die ich in es laden möchte.

Quelle

2010-09-21 emilam

+0

Können Sie beschreiben, an welcher Größe eines Data Warehouse Sie arbeiten? Ist es ein alteingesessenes Lager oder fängt es gerade erst an? – eksortso

+0

Schauen Sie sich Pandas, Petl und andere Werkzeuge an. –

+0

Warum ist die Anforderung "Python verwendet"? Sie sollten das beste Werkzeug für den Job auswählen. –

Antwort

17

Ja. Schreiben Sie einfach Python über eine DB-API-Schnittstelle in Ihre Datenbank.

Die meisten ETL-Programme bieten ausgefallene "High-Level-Sprachen" oder Drag-and-Drop-GUI, die nicht viel helfen.

Python ist genauso ausdrucksstark und ebenso einfach zu bedienen.

Vermeiden Sie die Verschleierung. Benutze einfach einfaches Python.

Wir machen es jeden Tag und wir sind sehr, sehr zufrieden mit den Ergebnissen. Es ist einfach, klar und effektiv.

Quelle

2010-09-21 16:29:15

Verwandte Themen

 Verwandte Themen