Ist es möglich, Spark DataType manuell aus Zeichenfolge zu erstellen?

Question

Ich muss Spark DataTypes manuell von String abhängig vom DataType der Spalte erstellen. Ich habe es auf verschiedene Weise versucht, wie:

dataType match { 
    case IntegerType => DataTypes.IntegerType(data.toInt) 

Aber die Art und Weise nicht finden, um es richtig zu tun. Ist das möglich? Ich muss den angegebenen Wert als String mit dem Wert in der Spalte vergleichen.

Answer 1

Wie ich verstehe, haben Sie bereits eine Datenstruktur, aber wollen eine Konvertierung der Datentypen nach Spark DataTypes. Ich nehme an, es gibt keine verschachtelten Sequenzen oder Arrays.

object DataTypeUtil { 

    def anyValueOfStringWithDataType(dataWithType: (String, DataType)): Any = { 
    val dataType = dataWithType._2 
    val data = dataWithType._1 
    dataType match { 
     case _: StringType => data 
     case _: IntegerType => Integer.valueOf(data) 
     case _ => throw new IllegalArgumentException 
    } 
    } 

    def stringsToRows(values: Seq[String], dataTypes: Seq[DataType]): Row = 
    Row.fromSeq(values.zip(dataTypes).map(anyValueOfStringWithDataType)) 

}