Spark DataFrame - .distinct() funktioniert nicht?

Question

Ich verwende den folgenden Code:

df = df.select(
      df.col("col").as("col1"), 
      df.col("col_").as("col2"); 
df = df.select("*").distinct(); 
df= df.sample(true, 0.8).limit(300); 
df= df.withColumn("random", lit(0)); 

df.show(); 

ich verschiedene Zeilen auswählen möchten, dann eine Probe nehmen und es auf 300 Datensätze beschränken jedoch df.show(); zeigt, dass es doppelte Zeilen den Platz am ganzen Körper. Was vermisse ich?

Vielen Dank!

Answer 1

zuordnen zu einem neuen Datenrahmen

val myDupeDF=myDF.select(myDF.col("EmpName")) 
myDupeDF.show() 
val myDistinctDf=myDF.select(myDF.col("EmpName")).distinct 
myDistinctDf.show(); 
+-------+ 
|EmpName| 
+-------+ 
| John| 
| John| 
| John| 
+-------+ 

Nach deutlichen

+-------+ 
|EmpName| 
+-------+ 
| John| 
+-------+ 

Update für alle Spalten ich wählen, ob alle Spalten noch es für mich arbeiten. Ich bin mit Funken 1.5.1

val myDupeDF=myDF.select(myDF.col("*")) 
    myDupeDF.show() 
    val myDistinctDf=myDF.select(myDF.col("*")).distinct 
    myDistinctDf.show(); 

Ergebnis:

+-----+-------+------+----------+ 
|EmpId|EmpName|Salary|SalaryDate| 
+-----+-------+------+----------+ 
| 1| John|1000.0|2016-01-01| 
+-----+-------+------+----------+ 

-

Answer 2

Versuchen Sie, diese -

df = df.select(
      df.col("col").as("col1"), 
      df.col("col_").as("col2"); 
df = df.distinct(); 
df= df.sample(true, 0.8).limit(300); 
df= df.withColumn("random", lit(0)); 

df.show(); 

Aber ich denke, u müssen einen Spaltennamen erwähnen auszuführen eindeutiger Betrieb -

df = df.select ("COLUMNNAME"). Distinct();