2016-11-23 4 views
1

Ich bin sehr neu in Spark und Scala, ich schreibe Spark SQL-Code. Ich bin in der Lage, CROSS JOIN und CROSS APPLY in meiner Logik anzuwenden. Hier werde ich die SQL-Abfrage, die ich in Spark SQL konvertieren muss.Wie CROSS JOIN und CROSS APPLY in Spark SQL verwenden

select Table1.Column1,Table2.Column2,Table3.Column3 
from Table1 CROSS JOIN Table2 CROSS APPLY Table3 

Ich brauche die obige Abfrage in SQLContext in Spark SQL konvertieren. Bitte hilf mir. Danke im Voraus.

Antwort

1

zuerst die unten Eigenschaft in Funken conf

spark.sql.crossJoin.enabled=true 

dann dataFrame1.join(dataFrame2) tun Cross/cartesianischen beitreten,

wir unter Abfrage auch das gleiche zu tun

sqlContext.sql("select * from table1 CROSS JOIN table2 CROSS JOIN table3...") 
verwenden können