Spark-Datenframe Spalte Nullable Eigenschaftenänderung

Question

Ich möchte die Nullable-Eigenschaft einer bestimmten Spalte in einem Spark-Dataframe ändern.

Wenn ich Schema des Datenrahmen drucke zur Zeit sieht es aus wie unten. col1: string (nullable = false) col2: string (nullable = true) col3: string (nullable = false) col4: float (nullable = true)

Ich möchte nur col3 Nullable-Eigenschaft aktualisiert werden.

Ich habe online hier sind einige Links, aber scheint, wie sie es für alle Spalten tun, aber nicht auf eine bestimmte Spalte. Change nullable property of column in spark dataframe Kann mir bitte jemand in dieser Hinsicht helfen.

Answer 1

Es gibt keinen „klar“ Weg, dies zu tun. Sie können Trick wie here

Relevante Code aus dieser Antwort verwenden:

def setNullableStateOfColumn(df: DataFrame, cn: String, nullable: Boolean) : DataFrame = { 

    // get schema 
    val schema = df.schema 
    // modify [[StructField] with name `cn` 
    val newSchema = StructType(schema.map { 
    case StructField(c, t, _, m) if c.equals(cn) => StructField(c, t, nullable = nullable, m) 
    case y: StructField => y 
    }) 
    // apply new schema 
    df.sqlContext.createDataFrame(df.rdd, newSchema) 
} 

Es Dataframe kopieren würde und kopieren Schema, aber mit specyfying Nullable-programmatisch

Version für viele Spalten:

def setNullableStateOfColumn(df: DataFrame, nullValues: Map[String, Boolean]) : DataFrame = { 

    // get schema 
    val schema = df.schema 
    // modify [[StructField]s with name `cn` 
    val newSchema = StructType(schema.map { 
    case StructField(c, t, _, m) if nullValues.contains(c) => StructField(c, t, nullable = nullValues.get(c), m) 
    case y: StructField => y 
    }) 
    // apply new schema 
    df.sqlContext.createDataFrame(df.rdd, newSchema) 
} 

Verwendung: setNullableStateOfColumn (df1, Karte ("col1" -> true, "col2" -> true, "col7" -> false));