Pyspark: Konvertieren Spalte in Kleinbuchstaben

Question

Ich möchte die Werte in einer Spalte in Kleinbuchstaben konvertieren. Derzeit, wenn ich die lower() Methode verwende, beschwert es sich, dass Spaltenobjekte nicht aufrufbar sind. Da es in SQL eine Funktion namens lower() gibt, gehe ich davon aus, dass es eine native Spark-Lösung gibt, die keine UDFs enthält oder tatsächlich SQL schreibt.

Answer 1

Sie müssen manuell lower, viel auf die gleiche Weise col importieren müssen importieren:

from pyspark.sql.functions import lower, col 

Kombinieren sie zusammen lower(col("bla")) verwenden. In einer vollständigen Abfrage:

spark.table('bla').where(lower(col('bla')) == 'bla') 

, die auf die SQL-Abfrage entsprechen

SELECT bla FROM bla WHERE lower(bla) = "bla" 

Unnötig zu sagen, dieser Ansatz ist besser als mit einem UDF weil UDF zu Python rufen (was a langsamer Betrieb, und Python selbst ist langsam), und ist eleganter als das Schreiben in SQL.