udf spark Spaltennamen

Question

Ich muss eine Sequenz von Spalten angeben. Wenn ich zwei Strings übergeben, es funktioniert gut

val cols = array("predicted1", "predicted2") 

aber wenn ich eine Sequenz oder ein Array übergeben, bekomme ich einen Fehler:

val cols = array(Seq("predicted1", "predicted2")) 

Könnten Sie mir bitte helfen? Danke vielmals!

Answer 1

Funktionssignatur ist def array(colName: String, colNames: String*): Column, was bedeutet, dass es eine Zeichenfolge und dann eine oder mehrere Zeichenfolgen dauert. Wenn Sie eine Sequenz verwenden möchten, tun Sie es wie folgt aus:

array("predicted1", Seq("predicted2"):_*) 

Von dem, was ich in the code sehen können, gibt es ein paar überladenen Versionen dieser Funktion sind, aber keiner nimmt eine Seq direkt. Es sollte also der Weg sein, wie beschrieben in varargs zu konvertieren.

Answer 2

Sie haben mindestens zwei Möglichkeiten:

1. Mit einem Seq[String]:

   val columns: Seq[String] = Seq("predicted1", "predicted2") 
   
   array(columns.head, columns.tail: _*) 
   

2. Mit einem Seq[ColumnName]:

   val columns: Seq[ColumnName] = Seq($"predicted1", $"predicted2") 
   
   array(columns: _*) 
   

Answer 3

Sie können diepassierenin der array Funktion durch Umwandlung in eine Array wie unten.

import org.apache.spark.sql.functions._ 
val cols = array(Seq("predicted1", "predicted2").map(col): _*)