Wie können Dateiladefehler in Vertica übersprungen und fortgeführt werden?

Question

Ich versuche, Tausende von komprimierten Dateien auf einmal über NFS in Vertica mit einer Kopie-Anweisung mit dem glob Ausdruck zu laden, aber der Betrieb auf dem folgenden Fehler wird abgebrochen:

ERROR 6253: Error occured during LZO header processing: expecting more than 8 bytes, possibly file corrupted 

Was den richtigen Weg ist zu sagen, Vertica, um mit dem Laden aller guten Dateien fortzufahren und nur zu melden, welche am Ende des Ladevorgangs fehlgeschlagen sind?

Answer 1

Wenn Sie Vertica 7.2.x ausführen, haben sie einen neuen Parameter mit der Bezeichnung ERROR TOLERANCE hinzugefügt. Vor dieser Version existiert es nicht.

Sie können die Kopieroptionen here sehen.

Treats each source during execution independently when loading data. The statement is not rolled back if a single source is invalid. The invalid source is skipped and the load continues.

This parameter is disabled for ORC files, Parquet files, and when using a fenced User Defined Load (UDL).

Die einzige andere Alternative wäre, die Gültigkeit in einem Skript PreCheck oder sie separat laden (natürlich wäre dies ein Performance-Problem sein, damit ich für den precheck entscheiden würde).