Lesen einer Textdatei Basierend auf Schlüssel als Säule aus einem anderen Text-Datei

Question

: Ich bin Spark I Tabelle in Funken als Text-Datei

ich den Text-Datei auf eine andere Basis lesen möchten, laden versuche Textdatei Spalte zB :: ID als Schlüssel Wenn B.id A.id Spiele dann habe ich Datei B in Spark-

val file2=sc.textFile("path") 

Answer 1

Eine Möglichkeit, lesen würde gelesen werden sowohl die Dateien & sie dann basierend auf ID beitreten Feld und wählen Sie nur die Spalten von t Lage b, soetwas wie unten

val df1 = Seq((1, "Anu"),(2, "Suresh"),(3, "Usha"), (4, "Nisha")).toDF("id","name") 
val df2 = Seq((1, 23),(2, 24),(3, 24), (4, 25), (5, 30), (6, 32)).toDF("id","age") 

df1.as("df1").join(df2.as("df2"), df1("id") === df2("id"), "inner").select("df2.*").show() 

Ausgang:

+---+---+ 
| id|age| 
+---+---+ 
| 1| 23| 
| 2| 24| 
| 3| 24| 
| 4| 25| 
+---+---+