Ich habe Java-Anwendung in der Entwicklungsphase. Und ich habe Remotefunkcluster im Cluster Standalone-Modus, der nur eine Maschine mit 2 Prozessorkernen enthält. "Cluster" enthält Master und einen Worker. Die Anwendung sendet Jobs mit langer Laufzeit, und Jobs erfordern keine CPU-Arbeit, sondern viele Aufrufe an Remote-Dienste. Mit anderen Worten benutze ich Funken wie Taskplaner. Während des Testens sehe ich, dass die Anwendung zum Beispiel 5 Aufgaben in der gleichen Zeit sendet, aber nur 2 können parallel arbeiten, weitere 3 sind in der Warteschlange. Frage ist es möglich, die Anzahl der parallelen Aufgaben in dieser Konfiguration mit einer Instanz mit 2 physischen Kernen zu erhöhen?Erhöhen Sie die Anzahl der parallelen Aufgaben im Standalone-Modus
0
A
Antwort
0
Um die Anzahl der parallelen Aufgaben zu erhöhen, müssen Sie die physischen Kerne erhöhen. Da Sie 2 Kerne haben, laufen 2 Aufgaben parallel und andere 3 sind in der Warteschlange.
+0
Was ist, wenn Hyper Threading aktiviert ist? – kaza
Verwandte Themen
- 1. So erhöhen Sie die Anzahl der parallelen Aufgaben in C#
- 2. Wie die maximale Anzahl der parallelen Aufgaben in C#
- 3. eine Sequenz von parallelen Aufgaben
- 4. Anzahl der parallelen HTTP-Anfragen im Knoten js beschränken
- 5. Elasticache - Erhöhen Sie die Anzahl der Knoten für die Replikation
- 6. Die Anzahl der Dateideskriptoren in Linux erhöhen
- 7. Android Studio - erhöhen Sie die Anzahl der Undos
- 8. Anzahl der abgeschlossenen Aufgaben und ausstehende Aufgaben
- 9. Ist die Anzahl der Aufgaben begrenzt?
- 10. Erhöhen Sie die Anzahl der Wochen durch Klicken auf
- 11. Erhöhen Sie die Anzahl der Titel von colorkey auf Levelplot
- 12. Anzahl der Achsen-Ticks erhöhen
- 13. Ausführen von parallelen Aufgaben mit async/erwarten
- 14. Gulp.js. Gleiche Aufgabe auf der Uhr, mit verschiedenen parallelen Aufgaben
- 15. Wie ändere ich die Anzahl der parallelen Prozesse?
- 16. Anzahl Aufgaben reduzieren Spark
- 17. Maximale Anzahl der Raumbenutzer erhöhen Anzahl smack api
- 18. Python-Warteschlange Anzahl der unerledigten Aufgaben
- 19. benutzerdefinierte Google-Suche erhöhen Anzahl der Ergebnisse
- 20. Verwenden der parallelen Taskbibliothek mit mehreren Computern
- 21. Anzahl der Aufgaben, die nicht gleich Anzahl der Partitionen in Spark-
- 22. Wie Anzahl der CPUs auf Docker erhöhen
- 23. Wie kann ich die Anzahl der Standardzeilen pro Seite erhöhen?
- 24. Erhöhen Sie die Geschwindigkeit der Unterabfrage
- 25. SQLite - Erhöhen Sie die Geschwindigkeit der Einfügung
- 26. Erhöhen Sie die Anzahl der Elemente in der Run MRU-Liste.
- 27. Bootstrap: Höhe von 2 parallelen divs in einer Reihe erhöhen
- 28. So finden Sie die Anzahl der Objekte im Heap
- 29. Berechnen Sie die Anzahl der Wochenendtage Datensätze im Array
- 30. gensim word2vec: Finden Sie die Anzahl der Wörter im Vokabular
Haben Sie versucht, 'spark.executor.cores' auf einen höheren Wert zu setzen? – Dikei
@Dikei Soll diese Eigenschaft auf meiner Anwendungsseite an JavaSparkContext übergeben werden? Wenn ich es mache, kann der Job nicht ohne Fehler gesendet werden. – Nawa