Filtern und

Question

Spark basiert auf regex Neuzuweisung

Ich habe einen Funken DataFrame namens df, wie oben im Bild gezeigt. Es gibt eine Spalte mit dem Namen region, die derzeit nur den Wert NE hat. Es gibt eine separate Spalte namens address mit vielen Adressen. Ich möchte die Beobachtungen von region zu VA ändern, wobei address mit VA endet. Wie kann ich das machen? Entweder funktionieren pyspark oder sparkr Befehle.

Answer 1

das folgende Snippet sollte funktionieren. Diese Methode konvertiert den Datenrahmen in RDD und führt eine Zuordnungsoperation durch, um den Bereich entsprechend zu ändern.

>>> df = sc.parallelize([("NE","NE"), ("Luray, VA", "NE"), ("VA" ,"NE"), ("Richmond, VA", "NE")]).toDF(["address", "region"]) 
>>> df.rdd.map(lambda (x,y): (x,'VA' if x.endswith('VA') else y)).toDF(["address", "region"]).show() 
+------------+------+ 
|  address|region| 
+------------+------+ 
|   NE| NE| 
| Luray, VA| VA| 
|   VA| VA| 
|Richmond, VA| VA| 
+------------+------+ 

der Ansatz ohne Konvertieren von Datenrahmen zu RDD würde wie folgt aussehen. Hinweis: Dieser Ansatz ist dem rdd-Ansatz vorzuziehen, da er leistungsfähiger ist und weniger Annahmen über das Schema enthält.

from pyspark.sql.functions import udf 
df = sc.parallelize([("NE","NE"), ("Luray, VA", "NE"), ("VA" ,"NE"), ("Richmond, VA", "NE")]).toDF(["address", "region"]) 
regionfunc = udf(lambda x: 'VA' if x.endswith('VA') else x) 
df.withColumn('region', regionfunc(df.address)).show() 

+------------+------+ 
|  address|region| 
+------------+------+ 
|   NE| NE| 
| Luray, VA| VA| 
|   VA| VA| 
|Richmond, VA| VA| 
+------------+------+