, wie eine Anzahl von bestimmten Spalt größer als eins in Funken SQL zu schreiben, mit scala API

Question

Ich habe die folgende SQL-Abfrage:

SELECT SECTOR, COUNT(REGION) FROM SAMPLE_TABLE GROUP BY SECTOR HAVING COUNT(REGION) > 1 

ich konvertieren will, dass es in Funken mit Spark-SQL des Datenframe-API. Wie kann ich das machen?

Answer 1

Vielleicht kann diese Arbeit:

val df = sqlContext.table("SAMPLE_TABLE") 
val newDF = df 
    .groupBy("sector") 
    .agg(count("region").as("cnt")) 
    .where($"cnt" > 1) 

Weitere Informationen Sie einen Blick auf die DataFrame API docs und die functions package documentation

Answer 2

was

sqlContext.sql("SELECT SECTOR, COUNT(REGION) FROM SAMPLE_TABLE GROUP BY SECTOR HAVING COUNT(REGION) > 1 
").take(1000).foreach(println) 

nehmen können, was meinen Sie mit API? welcher?