2017-12-28 7 views
0

In Funken wir schließen Schema Schema aus der Datei dynamisch lesen z.B .:Apache Flink: INFER Schema einer CSV-Datei wie Funken

df = sqlContext.read.format('com.databricks.spark.csv').options(delimiter='|',header='true', inferschema='true').load('cars.csv') 

Gibt es eine Möglichkeit in Flink dies ebenfalls zu tun verwenden können?

Antwort

0

Flink hat keine integrierte Unterstützung für automatische Schema-Inferenz aus CSV-Dateien.

Sie können diese Funktionalität oben implementieren, indem Sie die ersten Zeilen einer CSV-Datei analysieren und eine entsprechende CsvTableSource generieren.

+0

Gibt es eine Möglichkeit, externen Katalog für diese – Ammar

+0

Ja zu verwenden, aber Sie müssen die Schema-Inferenz selbst implementieren. Sie können auch eine benutzerdefinierte TableSource implementieren, die auf das Schema einer CSV-Datei verweist. –

+0

Laut meiner aktuellen Forschung muss ich eine Klassendatei nach csv format.So hinzufügen, wenn keine der Spalten in CSV erhöhen oder verringern muss ich auch die Klassendatei aktualisieren und dafür muss ich meinen Code erneut .Plz korrekt kompilieren ich wenn ich falsch liege. – Ammar