Fehler beim truncateTable Methode von JDBCUtils in PostgreTable mit Funken mit

Question

Ich versuche Tisch postgre_table Spark trunkieren JDBCUtils verwenden, aber es wirft unter Fehler

< console>:71: error: value truncateTable is not a member of object org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils

val trucate_table = JdbcUtils.truncateTable()

ich den Code unten bin mit:

import org.apache.spark.sql.execution.datasources.jdbc._ 
import java.sql.DriverManager 
import java.sql.Connection 

val connection : Connection = DriverManager.getConnection(postgres_host + postgres_database,postgres_username,postgres_password) 

val table_existing = JdbcUtils.tableExists(connection, postgres_host + postgres_database, postgre_table) 
JdbcUtils.truncateTable(connection, postgres_host + postgres_database, postgre_table) 

Ich kann die Tabelle löschen, aber nicht abschneiden. Ich kann truncateTable-Methode in https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/execution/datasources/jdbc/JdbcUtils.scala

sehen Bitte schlagen Sie eine Lösung vor und wie Sie es in Databricks verwenden.

Answer 1

Sieht so aus, als ob Ihre Kompilierzeit- und Runtime-Spark-Bibliotheken unterschiedliche Versionen haben. Bitte stellen Sie sicher, dass die Laufzeitversion mit der Kompilierzeitversion von spark übereinstimmt. Scheint, dass die Methode von der Version 2.1 alleine verfügbar ist.

von diesem Release:

https://github.com/apache/spark/blob/branch-2.1/sql/core/src/main/scala/org/apache/spark/sql/execution/datasources/jdbc/JdbcUtils.scala