Funken Shuffle Lesezeit

2017-03-24 3 views 1 likes

k.imgur.com/r8NIv.pngFunken Shuffle Lesezeit

ich harte Zeit habe Verarbeitung dieser Informationen von Spark-UI. Der Executor, der die geringste Funke-Shuffle-Lesegröße/-Datensätze aufweist, benötigt die maximale Zeit zum Lesen der Shuffle-Blöcke, wie in den Bildern gezeigt. Ich verstehe nicht, ob dies ein Code-Problem ist oder ob es sich um einen Datenknoten handelt.

Quelle

2017-03-24 Vijay Krishna

Antwort

Vielleicht wird es nicht nur durch die Shuffle-Lesegröße verursacht, es gibt viele Faktoren, die die Shuffle-Zeit beeinflussen, wie die Anzahl der Partitionen. Sie können versuchen, die Konfigurationsparameter über Shuffle zu ändern. shuffle-behavior

Quelle

2017-03-25 02:00:10 Wang

Verwandte Themen

1. Duplikate entfernen, ohne Shuffle Funken
2. Verursacht eine flatMap im Funken einen Shuffle?
3. OPCDA Lesezeit
4. was passiert auf Heap-Raum während Funken Shuffle-Stufe
5. Lesezeit in der Registerkarte Firebug Net berichtet
6. Lesezeit als Zeichen-Array in c
7. SwiftyJSON Shuffle
8. Warum Join und Gruppe von beeinflusst die Menge der Daten shuffle in Funken
9. Funken - Filter in Karte
10. Shuffle ein Array in PHP nicht wirklich Shuffle Array
11. Playlist Shuffle ein/aus
12. Shuffle Groups Algorithmus
13. Zufall Shuffle und Funktionszeiger
14. Pyspark: shuffle RDD
15. Parallel Computing - Shuffle
16. Symfony: Shuffle ein Array
17. Fisher-Yates Shuffle-Algorithmus
18. Kartenspiel und Shuffle-Methode
19. Text Shuffle JQuery/Javascript
20. Shuffle divs mit angularJS
21. shuffle Fehler in hadoop
22. Shuffle array swift 3
23. Yates Shuffle Excell-VBA
24. C++ Array Shuffle
25. shuffle vs permute numpy
26. Lazy Shuffle-Algorithmen
27. shuffle string in python
28. Vaadin shuffle ListSelect
29. Schienen shuffle mit Priorität
30. MapReduce Shuffle Phase Flaschenhals