2

Ich erstelle CSV & TSV-Dateien mit AWS Data Pipeline. Die Dateien sind in Ordnung, aber ich kann nicht herausfinden, wie man Dateien mit Spaltenüberschriften erstellt. Ich bin mitErstellen von Spaltenüberschriften in CSV/TSV-Dateien mit AWS Data Pipeline?

Zunächst erwartete ich die Header auf der SQL-Abfrage automatisch zu generieren um den Export zu erhalten. Das hat nicht funktioniert, aber es war in Ordnung.

Dann habe ich eine Liste von Spaltendefinitionen auf die „Spalte“ Attribut des DefaultDataFormat3 Merkmal/Knoten.

{ 
    "escapeChar": "\\", 
    "name": "DefaultDataFormat3", 
    "column": [ 
    "id INT", 
    "field1 STRING", 
    "field2 STRING" 
    ], 
    "columnSeparator": "|", 
    "id": "DataFormatId_jEXqL", 
    "type": "TSV", 
    "recordSeparator": "\\n" 
} 

Ich bekomme immer noch nur CSVs und TSVs ohne Kopfzeile im Export.

+1

AWS Datapipeline ist sehr schlecht dokumentiert. An den meisten Orten ist es schwierig zu verstehen, was das Feld tun soll. – Anshul

+0

Haben Sie das gleiche Problem ... haben Sie jemals eine Lösung bekommen? – joeB1

+0

Ich habe nicht, @ joeB1: ( –

Antwort

1

Ich lief eine über blog post eine Lösung dafür zu erklären. Wenn Sie eine Abfrage für Ihre Daten verwenden, können Sie die Spaltennamen als erstes Ergebnis hinzufügen:

SELECT 'firstName', 'lastName', 'email' 
UNION ALL 
SELECT firstName, lastName, email 
FROM users 
+1

Dies ist eine sehr gute Lösung. Aber AWS sollte es auch reparieren!:) –

+0

Einverstanden. Ein Nachteil dieser Lösung ist, dass Sie alles in Zeichenfolgen konvertieren müssen oder SQL über die nicht übereinstimmenden Spaltentypen klagt. – MrHen

Verwandte Themen