Scala-Code in PySpark konvertieren

Question

Ich habe den folgenden Code gefunden, um n Zeilen aus dem Datenframe nach unique_id gruppiert auszuwählen.

import org.apache.spark.sql.expressions.Window 
import org.apache.spark.sql.functions.row_number 

val window = Window.partitionBy("userId").orderBy($"rating".desc) 

dataframe.withColumn("r", row_number.over(window)).where($"r" <= n) 

Ich habe versucht, die folgenden:

from pyspark.sql.functions import row_number, desc 
from pyspark.sql.window import Window 

w = Window.partitionBy(post_tags.EntityID).orderBy(post_tags.Weight) 
newdata=post_tags.withColumn("r", row_number.over(w)).where("r" <= 3) 

ich die folgende Fehlermeldung erhalten:

AttributeError: 'function' object has no attribute 'over' 

Bitte helfen Sie mir auf der gleichen.

Answer 1

fand ich die Antwort auf diese Frage:

from pyspark.sql.window import Window 
from pyspark.sql.functions import rank, col 

window = Window.partitionBy(df['user_id']).orderBy(df['score'].desc()) 

df.select('*', rank().over(window).alias('rank')) 
    .filter(col('rank') <= 2) 
    .show() 

Credits @mtoto für seine Antwort https://stackoverflow.com/a/38398563/5165377