Eine Liste aufladen, um mehrere Spalten aus einem Spark-Datenrahmen auszuwählen

Question

Ich habe einen Funken Datenrahmen df. Gibt es eine Möglichkeit, unter Verwendung einer Liste dieser Spalten einige Spalten auszuwählen?

scala> df.columns 
res0: Array[String] = Array("a", "b", "c", "d") 

Ich weiß, ich kann etwas wie df.select("b", "c") tun. Aber angenommen, ich habe eine Liste mit ein paar Spaltennamen val cols = List("b", "c"), gibt es eine Möglichkeit, dies an df.select zu übergeben? df.select(cols) löst einen Fehler aus. So etwas wie df.select(*cols) wie in Python

Answer 1

Verwenden df.select(cols.head, cols.tail: _*)

Lassen Sie mich wissen, ob es funktioniert :)

Explanation from @Ben:

Der Schlüssel ist die Methode Signatur wählen:

select(col: String, cols: String*) 

Der Eintrag cols:String* benötigt eine variable Anzahl von Argumenten. :_* entpackt Argumente, damit sie von diesem Argument behandelt werden können. Sehr ähnlich zum Auspacken in Python mit *args. Weitere Beispiele finden Sie unter here und here.

Answer 2

Sie können String typisieren Spalte wie diese zu entfachen:

import org.apache.spark.sql.functions._ 
df.select(cols.map(col): _*) 

Answer 3

Eine weitere Option, die ich gerade gelernt haben.

import org.apache.spark.sql.functions.col 
val columns = Seq[String]("col1", "col2", "col3") 
val colNames = columns.map(name => col(name)) 
val df = df.select(colNames:_*) 

Answer 4

Sie Argumente vom Typ Column*-select passieren kann:

val df = spark.read.json("example.json") 
val cols: List[String] = List("a", "b") 
//convert string to Column 
val col: List[Column] = cols.map(df(_)) 
df.select(col:_*)