Paralleles Schreiben von demselben Datenrahmen in Spark

Question

Nehmen wir an, ich habe eine DataFrame in Spark und ich muss die Ergebnisse davon in zwei Datenbanken schreiben, wo man den ursprünglichen Datenrahmen speichert, aber der andere speichert eine leicht modifizierte Version (z. B. Tropfen einige Säulen). Da beide Operationen einige Zeit in Anspruch nehmen können, ist es möglich/ratsam, diese Operationen parallel auszuführen, oder führt dies zu Problemen, weil Spark parallel an demselben Objekt arbeitet?

Answer 1

import java.util.concurrent.Executors 
import scala.concurrent._ 

implicit val ec = ExecutionContext.fromExecutor(Executors.newFixedThreadPool(10)) 

def write1(){ 
//your save statement for first dataframe 
} 


def write2(){ 
//your save statement for second dataframe 
} 

def writeAllTables() { 
Future{ write1()} 
Future{ write2()} 
}