Wie nach Spalte in absteigender Reihenfolge in Spark SQL zu sortieren?

Question

Ich versuchte df.orderBy("col1").show(10), aber es in aufsteigender Reihenfolge sortiert. df.sort("col1").show(10) sortiert auch in absteigender Reihenfolge. Ich schaute auf Stackoverflow und die Antworten, die ich fand, waren alle veraltet oder referred to RDDs. Ich möchte den nativen Dataframe in Spark verwenden.

Answer 1

Es ist in org.apache.spark.sql.DataFrame für sort Methode:

df.sort($"col1", $"col2".desc) 

Hinweis $ und .desc innerhalb sort für die Säule durch die Ergebnisse sortiert werden.

Answer 2

Sie auch die Spalte durch den Import der Funken SQL-Funktionen

import org.apache.spark.sql.functions._ 
df.orderBy(asc("col1")) 

Oder

import org.apache.spark.sql.functions._ 
df.sort(desc("col1")) 

Import sqlContext.implicits._

import sqlContext.implicits._ 
df.orderBy($"col1".desc) 

Oder

sortieren

import sqlContext.implicits._ 
df.sort($"col1".desc) 

Answer 3

df.sort ($ "Spaltenname" .Desc) .show()

Answer 4

Der einfachste Weg ist, einfach die aufsteigende = False Parameter hinzu:

df.orderBy("col1", ascending=False).show(10) 

Referenz: http://spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html#pyspark.sql.DataFrame.orderBy