Ich habe die Summe von Alter und Gehaltsgruppe nach Name auf dem Datensatz zu berechnen. Bitte helfen Sie Dataset abzufragen? Ich habe versucht, GroupedDataset zu verwenden, weiß aber nicht, wie ich damit fortfahren soll. DankVerwenden Aggregat und Gruppe von auf Spark Dataset api
0
A
Antwort
0
können Sie registrieren die JavaRDD als Tabelle prdd und dann in SQL-Anweisungen
`Dataframe schemaPeople = sqlContext.createDataFrame (prdd, Person.class) verwendet wird; schemaPeople.registerTempTable ("Personen");
// SQL kann über RDDs ausgeführt werden, die als Tabellen registriert wurden.
Datenrahmen Jugendliche = sqlContext.sql ("SELECT sum (Alter), sum (Gehalt) FROM Menschen Gruppe von Namen)
// Die Ergebnisse von SQL-Abfragen sind Datenrahmen und unterstützen alle normalen RDD operations.`
Lesen sie mehr: http://spark.apache.org/docs/latest/sql-programming-guide.html#running-sql-queries-programmatically
Verwandte Themen
- 1. Spark Dataset API - Join
- 2. Spark SQL: Aggregat Spaltenwerte innerhalb einer Gruppe
- 3. Aggregat von Gruppe und Untergruppe
- 4. String Aggregat Gruppe und auf einen Wert
- 5. Wann sollte die Spark DataFrame/Dataset API verwendet werden und wann sollte man RDD verwenden?
- 6. MongoDB - Aggregat und verketten Ergebnisse Gruppe
- 7. MySQL: Aggregat-Funktion: Gruppe von verbundenen Variablen
- 8. Verwenden von Rpart-Paket auf großen Dataset
- 9. Was ist der Unterschied zwischen Spark DataSet und RDD
- 10. wso2 Rest api Klon und Aggregat
- 11. Wie Datumsfeldes in MDX-Abfrage mit und ohne Aggregat Gruppe
- 12. Splitting Zeichenfolge in Dataset Apache Spark
- 13. RDL Aggregat Distinct Feld pro Gruppe
- 14. Spark-Datenframe-Aggregat für mehrere Spalten
- 15. Verwendung von LINQ auf Observable mit GroupBy und Summe Aggregat
- 16. Spark konvertiert ein Dataset zu RDD
- 17. Gruppe von Benutzer-ID in Spark-
- 18. Verwenden von Hadoop und Spark auf Docker-Containern
- 19. Registrieren von Spark-API Token
- 20. Ihre eigenen reduceByKey in Spark-Dataset
- 21. Verwenden von DataSet mit DataGridView und Ändern von DataGridViewColumn
- 22. Postgres Gruppe nach Spalten und innerhalb der Gruppe Wählen Sie andere Spalten nach max Aggregat
- 23. So erstellen Sie ein Spark-Dataset von einer RDD
- 24. Verwenden von TransactionScope mit typisiertem Dataset
- 25. Verwenden von Dataset für Microsoft-Berichte
- 26. Partition Ausgabe von Schlüssel in Spark mit Datasets API
- 27. Gruppe Reihen auf Datatable in ADO.Net - Gruppe von
- 28. Mischung von na.omit und na.pass mit Aggregat?
- 29. SQL Gruppe von und wo auf jeder Gruppe
- 30. Python Spark-Gruppe Transaktionen in verschachtelte Schema
Bitte helfen sie mir zu verstehen, wenn ich diesen Code verwenden dann Datenrahmen ich verwende, aber ich will, es erreichen Dataset ich etwas fehlt bin.? – coder