Entfernen Sie doppelte Anführungszeichen "beim Laden von Daten in Amazon Redshift Spectrum

Question

Ich möchte Daten in Amazon Redshift externe Tabelle laden. Daten sind im CSV-Format und hat Anführungszeichen. Haben wir etwas wie REMOVEQUOTES, die wir in Kopie Befehl für Redshift extern haben Tabellen. auch das, was es verschiedene Optionen mit fester Länge Daten in externer Tabelle zu laden.

Answer 1

eine externe Spectrum Tabelle zu erstellen, sollten Sie die CREATE TABLE Syntax von Athena bereitgestellt verweisen. CSV durch doppelte Anführungszeichen entgangen zu laden, sollten Sie die folgenden Zeilen als ROW FORMAT

ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' 
WITH SERDEPROPERTIES (
    'separatorChar' = ',', 
    'quoteChar' = '\"', 
    'escapeChar' = '\\' 
) 

Für Dateien mit fester Länge sollten Sie RegexSerDe verwenden. In diesem Fall wird der relevante Teil Ihrer CREATE TABLE -Anweisung so aussehen (unter der Annahme von 3 Feldern der Länge 100).

ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe' 
WITH SERDEPROPERTIES ("input.regex" = "(.{100})(.{100})(.{100})")