Spark-Datenrahmen UDF Keine TypeTag verfügbar

Question

Ich versuche sparkml Pipeline-Modell mit einem Filtertransformator zu verlängern, nach

abstract class RuleFilter[IN, T <: RuleFilter[IN, T]] 
    extends RuleTransformer with HasInputCol { 
    // def filterFuntion: String 
    /** @group setParam */ 
    def setInputCol(value: String): T = set(inputCol, value).asInstanceOf[T] 

    protected def createFilterFunc: IN => Boolean 

    override def transform(df: DataFrame): DataFrame = { 
    transformSchema(df.schema, logging = true) 
    val transformUDF = udf[Boolean, IN](this.createFilterFunc) 
    df.filter(transformUDF(df($(inputCol)))) 
    } 
} 

dieser Code nicht mit einem Fehler kompilieren haben:

No TypeTag available for IN 
[error]  val transformUDF = udf[Boolean, IN](this.createFilterFunc) 

wie kann ich lass das funktionieren?

Ich brauche es mit etwas explizit definierten Art in erben Klasse zu arbeiten wie

class PriceFilter extends RuleFilter { 
    def createFilterFunc(val: Double) = val > 500 
} 

Answer 1

Sie müssen explizit den Compiler sagen, dass Sie ein TypeTag für Typ wollen In:

import scala.reflect.runtime.universe._ 
abstract class RuleFilter[In: TypeTag, T <: RuleFilter[In, T]]