Sqoop: Importieren Sie alle Tabellen, die Blob-Typen konvertieren

Question

Ich versuche, alle Tabellen von meinem Oracle 11g R2 (Import-all-Tabellen) zu importieren, und ich habe ein Problem mit einem CLOB-Typ. (Mit CDH 5.9, Sqoop 1.4.6-cdh5.9.1)

Erster Versuch:

sqoop import-all-tables --connect ... --hive-import --hive-overwrite --as-parquet-file --autoreset-to-one-mapper -m XX --direct 

Tabellen werden korrekt importiert, bis eine Tabelle mit einer CLOB-Spalte gefunden wird, und wirft die folgenden Fehler: Kann nicht konvertieren SQL-Typ 2005.

Zweiter Versuch:

sqoop import-all-tables -D oraoop.disabled=true --connect ... --hive-import --hive-overwrite --as-parquet-file --autoreset-to-one-mapper -m XX 

ich bekomme den gleichen Fehler.

Dritte versuchen

sqoop import --connect ... --hive-import --hive-overwrite --as-parquet-file --autoreset-to-one-mapper -m XX --table MyClobTable --map-column-java CLOBCOL=String 

Dies funktioniert, so dass ich versuchen, das gleiche mit allen Tabellen zu erhalten:

sqoop import-all-tables --connect ... --hive-import --hive-overwrite --as-parquet-file --autoreset-to-one-mapper -m XX --map-column-java CLOBCOL=String 

Dies schlägt fehl, da nur einer meiner Tabellen eine CLOBCOL Spalte bekam.

Gibt es eine Möglichkeit, Import-All-Tabellen zu verwenden, den 2005 SQL-Typ-Fehler zu beheben oder Sqoop mitzuteilen, wie es "on the fly" gelöst werden kann?

Danke!

Answer 1

Sie sollten den Befehl --direct nicht verwenden, da das sqoop-Dokument besagt: "Sqoops direkter Modus unterstützt keine Importe von BLOB-, CLOB- oder LONGVARBINARY-Spalten. Verwenden Sie JDBC-basierte Importe für diese Spalten; liefern Sie nicht den -Direct Argument zum Import-Tool. "