pyspark: Anzahl der Tweets mit einem Wort/Hashtag finden

Question

Ich versuche eine JSON-Datei zu analysieren, die Daten von der Twitter-API enthält. Ich möchte herausfinden, wie oft ein Hashtag oder ein bestimmtes Wort in meinem Datensatz erscheint. Ich kann mit einer Liste der häufigsten Tweets erhalten:

print(df.groupby('text').count().sort(desc('count')).show()) 

So weiß ich zum Beispiel, dass Liverpool ein Wort in den Daten auf jeden Fall ist.

Ich würde einfach gerne finden, wie oft das Wort "Liverpool" in meinem Datensatz erscheint, ist das möglich? Danke

Ich benutze Spark Version 1.6.0.

Spalten werden als

genannt

['_corrupt_record', 'contributors', 'coordinates', 'created_at', 'delete', 
'entities', 'favorite_count', 'favorited', 'filter_level', 'geo', 'id', 
'id_str', 'in_reply_to_screen_name', 'in_reply_to_status_id', 
'in_reply_to_status_id_str', 'in_reply_to_user_id', 'in_reply_to_user_id_str', 
'lang', 'place', 'possibly_sensitive', 'retweet_count', 'retweeted', 
'retweeted_status', 'scopes', 'source', 'text', 'truncated', 'user', 
'withheld_in_countries'] 

Answer 1

nicht sicher, ob dies in 1.6 funktioniert, I 2.1 verwenden, aber ich würde dies etwas Ähnliches tun:

from pyspark.sql.functions import col 

df.where(col('text').like("%Liverpool%")).count()