Spark 1.5.2: NaN während der Berechnung stddev

Question

Ich bekomme NaN während der Berechnung der Standardabweichung (Stddev). Dies ist ein sehr einfacher Anwendungsfall, wie unten beschrieben:

val df = Seq(("1",19603176695L),("2", 26438904194L),("3",29640527990L),("4",21034972928L),("5", 23975L)).toDF("v","data") 

Ich habe die stddev als UDF definiert:

def stddev(col: Column) = { 
     sqrt(mean(col*col) - mean(col)*mean(col)) 
} 

Ich erhalte NaN, wenn ich die UDF nennen, wie unten dargestellt:

df.agg(stddev(col("data")).as("stddev")).show() 

Es produziert die folgenden:

+------+ 
|stddev| 
+------+ 
| NaN| 
+------+ 

Was mache ich falsch?

Answer 1

Angesichts Ihrer Daten werden sowohl mean(col*col) als auch mean(col)*mean(col) größer als ein Maximalwert von Long10 sein. Sie können versuchen, Eingabespalten double Gießen zuerst:

df.agg(stddev(col("data").cast("double")).as("stddev")) 

aber im Allgemeinen wird es nicht besonders stabil sein, auf eine sehr große Zahl.