Wie behandelt man 'NULL' Werte in SparkSQL?

Question

Meine Hive-Tabelle hatte einige NULL Werte, die ich herausfiltern musste. Aber wenn ich Abfragen wie "x IS NOT NULL", "x != NULL", "x <> NULL" lief, funktionierte keiner von ihnen. Nach ein wenig Suche habe ich herausgefunden, dass ich den Hive-Parser die NULL Werte wie von der Eigenschaft serialization.null.format angegeben behandeln muss.

Ich muss wissen, wo ich das einstellen kann.

Kann ich dies tun, indem ich die setConf Funktion auf dem Hive Context aufrufen, wenn ich SparkSQL starte?

Answer 1

Sie können von Fall zu Fall in Ihrem Spark SQL verwenden.