Sie benötigen einen detaillierten Unterschied zwischen Sqoop und TDCH- Teradata Connector for Hadoop. Welche wird für Teradata als Quelle und Hadoop als Ziel empfohlen ?. Wir müssen verschiedene Arten von Lasten wie Incremental, History und Append implementierenUnterschied zwischen sqoop und TDCH
Teradata tut Konzept der Primärschlüssel haben stattdessen verwenden sie Primärindex (PI) oder einzigartige Primärindex (UPI) und sie für die Datenverteilung Zweck
in TD AMPs Soverwendet werden, wenn Sie Sqoop verwenden mit Anzahl der Mapper oder spaltenweise diesen Punkt der Zeit nutzen wir nicht die TD-Fähigkeit von fastexport Dienstprogramm.
In sqoop, obwohl, wenn Sie 50 Mapper mit -m Parameter angeben, wenn die Daten nach HDFS exportiert werden, würden alle Daten in einer einzigen Teildatei residieren.
Um TD- und HDFS-Distribution nutzen zu können, müssen wir TDCH jar verwenden, während wir Daten von TD nach HDFS exportieren.
TDCH unterstützt Hive, HCatalog, unterstützt aber nicht alle Dateiformate: unterstützt nur TextFile, SequenceFile und RCFile.
Jetzt, fast alle hadoop Distributionen Sqoop Teradata-Anschluss hinzugefügt, so dass Sie alle Sqoop Funktionen verwenden können (Inkremental, Geschichte, Anhängen usw.), die TDCH nicht unterstützt:
cloudera-connector-for-teradata
four-step-strategy-incremental-updates-hive
MapR-teradata-connector-hadoop-yarn
Edit: diese Zeile von der ursprünglichen Antwort entfernt als je Devs Eingang:
Für Teradata als Quelle Sie haben TDCH zu verwenden, wird Sqoop nicht nicht direkt für Teradata Unterstützung.
Apache Sqoop unterstützt direkt Teradata. Alles, was Sie JDBC jar wie für andere RDBMS hinzufügen müssen. –
aber brauchen wir nicht Verbindungsmanager wie - this - http://dba.stackexchange.com/questions/76555/problem- while-connecting-to-teradata-with-sqoop? und ich bezog mich auf diese doc-https: //sqoop.apache.org/docs/1.4.1-incubating/SqoopUserGuide.html#_supported_databases in Bezug auf direkte Unterstützung für Teradata. –
Dies funktioniert gut mit sqoop 1.4.6 - 'shoop Export -Dsqoop.export.records.per.Anweisung = 1 --connect 'jdbc: Teradata: //xxx.xxx.xxx.xxx/DBS_PORT = 1025, DATABASE = DS_TBL_DB '--driver com.teradata.jdbc.TeraDriver --Benutzername xxx --password xxx --tabelle hive_01 --exportverzeichnis
Der Teradata-Connector unterstützt JDBC FastLoad/FastExport, der den generischen Sqoop-Connector zumindest potenziell übertreffen sollte. – Andrew