Wie fügt man NULL-Werte von Spark in Redshift ein?

Question

Ich verwende die spark-csv, um eine Datei zu erstellen, die ich dann in einem COPY Befehl verwenden, um die Daten in Redshift zu laden. Laut der Dokumentation Redshift sollte ein gültiges Literal für einen NULL-Wert NULLhttp://docs.aws.amazon.com/redshift/latest/dg/r_Boolean_type.html sein.

Allerdings kann ich nicht Redshift bekommen, dies zu erkennen, was ist der richtige wörtliche Wert für NULL Werte zu setzen, so Redshift wird es richtig auf einem COPY von S3 Befehl erkennen?

Answer 1

Sie können den Wert in Ihrer COPY Anweisung angeben mit NULL AS 'NULL'http://docs.aws.amazon.com/redshift/latest/dg/copy-parameters-data-conversion.html#copy-null-as

würde ich die spark-reshift Bibliothek zum Laden von Redshift Ausprobieren vor. Es kümmert sich um viele dieser Probleme für Sie. https://github.com/databricks/spark-redshift