Gespeicherte Prozedur/Funktionen in SparkSql

Question

Alle Möglichkeiten, um SQL-Funktionen wie gespeicherte Prozedur oder Funktionen in sparksql zu erreichen?

Ich weiß über HPL SQL und Coprozessor in HBase. Aber ich möchte wissen, ob etwas ähnliches wie in Funken verfügbar ist oder nicht.

Answer 1

Sie Nutzungs User Defined Function und eingebaute Funktion betrachten kann

Ein kurzes Beispiel

val dataset = Seq((0, "hello"), (1, "world")).toDF("id", "text") 
val upper: String => String = _.toUpperCase  
import org.apache.spark.sql.functions.udf 
val upperUDF = udf(upper) 

// Apply the UDF to change the source dataset 
scala> dataset.withColumn("upper", upperUDF('text)).show 

Ergebnis

| id| text|upper| 

+---+-----+-----+ 

| 0|hello|HELLO| 

| 1|world|WORLD|