Wie Drucken von eindeutigen Werten einer Spalte von DataFrame in Spark?

Question

Ich erstelle ein Datenrahmen von Parkett-Datei wie folgt:

DataFrame parquetFile = sqlContext.read().parquet("test_file.parquet"); 
parquetFile.printSchema(); 
parquetFile.registerTempTable("myData"); 
DataFrame data_df = sqlContext.sql("SELECT * FROM myData"); 

Jetzt habe ich alle eindeutigen Werte einer Spalte drucken möchten, die field1 genannt wird.

Ich weiß, dass im Falle der Verwendung von Python, wäre es möglich, import pandas as pd ausführen und dann konvertieren data_df zu Pandas DataFrame, nach denen unique() verwenden.

Aber wie kann ich es in Java tun?

Answer 1

Es ist sehr einfach, können Sie die bestimmte Funktion in der SQL-Abfrage verwenden

DataFrame data_df = sqlContext.sql("SELECT DISTINCT(field1) FROM myData"); 

Hier ist ein Beispiel:

val myData = Seq("h", "h", "d", "b", "d").toDF("field1") 
myData.createOrReplaceTempView("myData") 
val sqlContext = spark.sqlContext 
sqlContext.sql("SELECT DISTINCT(field1) FROM myData").show() 

dies gibt die folgende Ausgabe:

+------+                   
|field1| 
+------+ 
|  h| 
|  d| 
|  b| 
+------+ 

Hoffnung diese Hilfe, beste Regrads

Answer 2

Sie können die doppelte entfernen und distinct Werte erhalten, indem

parquetFile.dropDuplicates("field1") 

Dies gibt Ihnen nur distinct Reihen von field1

Answer 3

DataFrame uniqueDF = data_df.groupBy("field1"); 
uniqueDF.show();