Spark DataFrame äquivalent zu Pandas.DataFrame.set_index/drop_duplicates vs. dropDuplicates

Question

Die Drop-Duplikate Methoden von Spark DataFrames funktioniert nicht und ich denke, es ist, weil die Indexspalte, die Teil meiner Datenmenge war, als eine Spalte von Daten behandelt wird . Es sind definitiv Duplikate drin, ich habe es überprüft, indem ich COUNT() und COUNT(DISTINCT()) auf allen Spalten außer dem Index verglichen habe. Ich bin neu bei Spark DataFrames, aber wenn ich Pandas verwendete, würde ich an dieser Stelle pandas.DataFrame.set_index für diese Spalte tun.

Kann jemand mit dieser Situation umgehen?

Zweitens scheint es 2 Methoden auf einem Spark DataFrame, drop_duplicates und zu geben. Sind sie gleich?

Answer 1

Wenn Sie nicht möchten, dass die Indexspalte bei der Überprüfung der einzelnen Datensätze berücksichtigt wird, können Sie die Spalte mit dem Befehl unter oder die gewünschten Spalten löschen.

df = df.drop('p_index') // Pass column name to be dropped 

df = df.select('name', 'age') // Pass the required columns 

drop_duplicates() ist ein Alias ​​für dropDuplicates().

https://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrame.dropDuplicates