In Spark SQL (Arbeiten mit den Java-APIs) habe ich eine DataFrame.Spark SQL - DataFrame - auswählen - Transformation oder Aktion?
Die DataFrame hat eine select Methode. Ich frage mich, ob es eine Transformation oder eine Aktion ist?
Ich brauche nur eine Bestätigung und eine gute Referenz, die das deutlich angibt.
Es ist Transformation. Bitte beachten: https://spark.apache.org/docs/2.0.0/api/java/org/apache/spark/sql/Dataset.html
Ein Datensatz ist eine stark typisierte Sammlung von domänenspezifischen Objekten , die parallel mit Hilfe der funktionellen oder relationale Operationen umgewandelt werden kann. Jedes Dataset hat auch eine nicht typisierte Ansicht namens DataFrame, , die ein Dataset der Zeile ist.
Die verfügbaren Operationen in Datasets sind in Transformationen und Aktionen unterteilt. Transformationen sind diejenigen, die neue Datasets erzeugen, und Aktionen sind diejenigen, die Berechnungen auslösen und Ergebnisse zurückgeben. Beispieltransformationen umfassen map, filter, select und aggregate (groupBy). Beispielaktionen zählen, zeigen oder schreiben Daten in Datei Systeme.
Es handelt sich um eine Transformation, da keine tatsächliche Berechnung stattfindet und daher bei Verwendung von 'df.select' keine Ergebnisse angezeigt werden. [Quelle] (https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/Dataset.scala#L81) – philantrovert
Sie müssen tun a 'show()', um irgendwelche Ergebnisse zu sehen. 'show()' ist eine Aktion. – femibyte