Spark-Filter isin funktioniert nicht wie erwartet

Question

val items = List("a", "b", "c") 

sqlContext.sql("select c1 from table") 
      .filter($"c1".isin(items)) 
      .collect 
      .foreach(println) 

Der obige Code löst die folgende Ausnahme aus.

Exception in thread "main" java.lang.RuntimeException: Unsupported literal type class scala.collection.immutable.$colon$colon List(a, b, c) 
at org.apache.spark.sql.catalyst.expressions.Literal$.apply(literals.scala:49) 
at org.apache.spark.sql.functions$.lit(functions.scala:89) 
at org.apache.spark.sql.Column$$anonfun$isin$1.apply(Column.scala:642) 
at org.apache.spark.sql.Column$$anonfun$isin$1.apply(Column.scala:642) 
at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245) 
at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245) 
at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33) 
at scala.collection.mutable.WrappedArray.foreach(WrappedArray.scala:35) 
at scala.collection.TraversableLike$class.map(TraversableLike.scala:245) 
at scala.collection.AbstractTraversable.map(Traversable.scala:104) 
at org.apache.spark.sql.Column.isin(Column.scala:642) 

Unten ist mein Versuch, es zu beheben. Es kompiliert und läuft, gibt aber keine Übereinstimmung zurück. Nicht sicher warum.

val items = List("a", "b", "c").mkString("\"","\",\"","\"") 

sqlContext.sql("select c1 from table") 
      .filter($"c1".isin(items)) 
      .collect 
      .foreach(println) 

Answer 1

Laut Dokumentation nimmt isin eine Vararg, kein Liste. Liste ist hier eigentlich ein verwirrender Name. Sie können das Umwandeln Ihrer Liste versuchen, so Vararg:

val items = List("a", "b", "c") 

sqlContext.sql("select c1 from table") 
      .filter($"c1".isin(items:_*)) 
      .collect 
      .foreach(println) 

Ihre Variante mit mkString kompiliert, weil ein einziger String ist auch ein Vararg (mit Anzahl der Argumente gleich 1), aber es ist proably nicht, was Sie wollen erreichen.

Answer 2

Wie Tomalak hat es erwähnt:

isin(java.lang.Object... list) 
A boolean expression that is evaluated to true if the value 
of this expression is contained by the evaluated values of the arguments. 

Daher könnten Sie nur dieses Problem beheben die folgende Änderung vornehmen:

val items = List("a", "b", "c").map(c => s""""$c"""") 

Answer 3

es so arbeitete in Java Api (Java 8)

.isin(sampleListName.stream().toArray(String[]::new)))); 

sampleListName ist eine Liste