Filter df, wenn Werte Teil einer Zeichenfolge in pyspark entspricht

Ich habe eine große pyspark.sql.dataframe.DataFrame und ich möchte alle Zeilen, in denen die URL gespeichert in der location Spalte enthält eine vordefinierte Zeichenfolge, z. B. filter halten. "google.de"Filter df, wenn Werte Teil einer Zeichenfolge in pyspark entspricht

Ich habe df.filter(sf.col('location').contains('google.com') versucht, aber dies wirft ein

TypeError: _TypeError: 'Column' object is not callable'

Wie gehe ich um und Filter richtig meine df? Vielen Dank im Voraus!

Quelle

2017-01-27 gaatjeniksaan

Versuchen 'df.filter ("location like '% google.com%'") ' – mrsrinivas

können Sie verwenden Ebene SQL in filter

df.filter("location like '%google.com%'")

oder mit Datenrahmen Säulenverfahren

df.filter(df.location.like('%google.com%'))

Quelle

2017-01-27 09:07:11 mrsrinivas

Super, das funktioniert in der Tat, danke! Kannst du vielleicht erklären, warum die Methode, die ich vorher ausprobiert habe, nicht funktioniert? – gaatjeniksaan

Ich sehe keine Methode 'contains()' [für pySpark] (http://spark.apache.org/docs/2.1.0/api/python/pypark.sql.html). Aber contains sollte funktionieren. – mrsrinivas

Filter df, wenn Werte Teil einer Zeichenfolge in pyspark entspricht

Antwort

Verwandte Themen