5
Wie hoch ist die maximale Anzahl der Spalten in Spark Dataframe? Ich habe versucht, es von der Datenrahmendokumentation zu bekommen, aber ich konnte es nicht finden.Spark Dataframe Maximale Spaltenanzahl
A
Antwort
0
Aus architektonischer Sicht sind sie skalierbar, so dass es keine Begrenzung für die Spaltenanzahl sein sollte, aber es kann auf den Knoten Aufstieg zu einer ungleichmäßigen Belastung geben & die Gesamtleistung Ihrer Transformationen beeinflussen können.
Verwandte Themen
- 1. Spark DataFrame
- 2. Spark DataFrame vs sqlContext
- 3. Spark DataFrame mapPartitions
- 4. Spark-Dataframe UDAF Ausgabe
- 5. Spark Scala Dataframe Konvertierung
- 6. Spark implizite $ für DataFrame
- 7. Spark DataFrame AnalysisException
- 8. Spark scala Dataframe isin
- 9. Spark DataFrame groupBy
- 10. Spark-Dataframe-Python
- 11. Manipulation auf Spark-Dataframe Reihe
- 12. Ersetzen Nullwerte in Spark DataFrame
- 13. Doppelte Spalten in Spark-Dataframe
- 14. na.fill in Spark DataFrame Scala
- 15. Verketten Spark Dataframe N mal
- 16. Spark Dataframe - Weblogic-Anwendung Fehlerprotokollanalyse
- 17. Spark Dataframe ändern Spalte Wert
- 18. Spark DataFrame InsertIntoJDBC - TableAlreadyExists Ausnahme
- 19. Ärger mit Spark-Dataframe GROUPBY
- 20. Ändern einer Spark-Dataframe-Spalte
- 21. Spark 2.0 Dataset vs Dataframe
- 22. Metadaten eines Spark DataFrame (RDD)
- 23. Spark 1.6.0 DataFrame Selfjoin Problem
- 24. Spark DataFrame Cache Große TempTable
- 25. Spark Scala - Handhabung leerer DataFrame
- 26. Python Spark Dataframe zu Elasticsearch
- 27. Verbinden von zwei Tabellen mit unterschiedlicher Spaltenanzahl in Spark
- 28. Können Sie einen Spark-Dataframe in einem anderen Dataframe verschachteln?
- 29. Konvertieren von Spark Streaming-Daten in Spark DataFrame
- 30. Spark/Scala: Spark DataFrame Spalte mit Struct Typ
Es ist nicht korrekt. Sie können leicht eine harte Grenze finden ('Int.MaxValue'), aber was noch wichtiger ist Spark skaliert nur lange und relativ dünne Daten gut. Grundsätzlich können Sie einen einzelnen Datensatz nicht zwischen Executoren/Partitionen aufteilen. Und es gibt eine Reihe von praktischen Einschränkungen (GC, Disk-IO), die sehr breite Daten unpraktisch machen. Ganz zu schweigen von einigen bekannten Bugs. – zero323
Die meisten (soweit ich weiß) Programmiermodelle skalieren "gut" für lange und dünne Daten. (Aus einem grundlegenden Grund würde der Datensatz unterbrochen werden, um auf die nächste relevante "logische Einheit" des Speichers nach einem Schwellenwert zu schreiben.) Die meisten "Big Data" -Frameworks sind so konzipiert, dass sie Daten ohne Grenzen verarbeiten können Überwindung der technischen Einschränkungen, mit einem Performance-Hit. Also ich denke, wir würden Speicherfehler bekommen, bevor wir das besagte Limit erreichen. Ihre Gedanken? – KiranM