Spark-Export nach Teradata

Question

Ich versuche, Daten von HDFS zu Teradata über Spark zu kopieren. Ich erhalte UnknownHostException, wenn ich durch die Spark-Shell laufe. Ich bekomme Teradata.main nicht gefunden, während ich das gleiche durch den Funken sende (ich habe Teradata-Gläser mit dem Funken hinzugefügt, als auch). Die gleiche Teradata-Verbindungs-URL und Anmeldeinformationen funktionieren beim Sqooping.

Ich habe teradata jars zum Executor und Treiber Klassenpfad und auch in sparkdefaults.conf hinzugefügt. finden Sie meine Funken Teradata Verbindungscode wie unten,

val jdbcDF = sqlContext.load("jdbc", Map("url" -> "jdbc:teradata://teradataservername, user=***###, password=***###","dbtable" -> "query","driver" -> "com.teradata.jdbc.TeraDriver")) 

Bitte meine excetion finden, die ich bekam, während, wie unten von Funken Shell läuft,

TERAJDBC4 ERROR [main] com.teradata. jdbc.jdk6.JDK6_SQL_Connection@219f9031 Anschluss an (Teradata-Server), TMODE = TERA, username = ###, Passwort = ### Sun 6. August 22.43.40 EDT 2017 Buchse orig = (teradata Server), TMODE = TERA, username = ###, Passwort = ### cid = 742ff968 sess = 0 java.net.UnknownHostException: (Teradata-Server), TMODE = TERA, username = ###, Passwort = ###: unbekannte Fehler bei java.net.Inet6AddressImpl.lookupAllHostAddr (native Methode) bei java.net.InetAddress $ 2.lookupAllHostAddr (InetAddress.java:928) bei java.net.InetAddress.getAddressesFromNameService (InetAddress.java : 1323) bei java.net.InetAddress.getAllByName0 (InetAddress.java:1276)

Answer 1

Versuchen Sie, die folgende Lösung, ob es für Sie arbeitet:

sc.addJar("/jar/dir/yourDriver.jar") 

val jdbcDF = sqlContext.load("jdbc", Map(
    "url" -> "jdbc:teradata://<server_name>, TMODE=TERA, user=my_user, password=*****", 
    "dbtable" -> "your query", 
    "driver" -> "com.teradata.jdbc.TeraDriver"))