Kosten OpenMPI in C++

Question

Ich habe folgendes Programm C++ Programm, das keine Kommunikation verwendet, und die gleiche identische Arbeit auf allen Kernen getan, ich weiß, dass dies nicht ein parallele Verarbeitung überhaupt nicht verwenden:

unsigned n = 130000000; 
std::vector<double>vec1(n,1.0); 
std::vector<double>vec2(n,1.0); 
double precision :: t1,t2,dt; 
t1 = MPI_Wtime(); 
for (unsigned i = 0; i < n; i++) 
{ 
    // Do something so it's not a trivial loop 
    vec1[i] = vec2[i]+i; 
} 
t2 = MPI_Wtime(); 
dt = t2-t1; 

Ich führe dieses Programm in einem einzigen Knoten mit zwei Intel® Xeon® Prozessor E5-2690 v3, so habe ich 24 Kerne alle zusammen. Dies ist ein dedizierter Knoten, niemand benutzt ihn. Da es keine Kommunikation gibt und jeder Prozessor die gleiche Menge an (identischer) Arbeit leistet, sollte die Ausführung auf mehreren Prozessoren die gleiche Zeit ergeben. Allerdings bekomme ich die folgenden Zeiten (gemittelt Zeit über alle Kerne):

1 Kern: 0,237

2 Kerne: 0,240

4 Kerne: 0.241

8 Cores: 0,261

16 Adern: 0,454

Was coul d verursacht die Zunahme der Zeit? Besonders für 16 Kerne. Ich habe Callgrind ran und ich bekomme die ungefähr gleiche Menge an Daten/Befehl fehlt auf allen Kernen (der Prozentsatz der Fehlschläge sind die gleichen).

Ich habe den gleichen Test auf einem Knoten mit zwei Intel® Xeon® Prozessor E5-2628L v2 wiederholt (16 Kerne alle zusammen), beobachte ich die gleiche Zunahme der Ausführungszeiten. Hat das etwas mit der MPI-Implementierung zu tun?

Answer 1

ich vermutet, dass es gemeinsame Ressourcen, die von Ihrem Programm verwendet werden sollen, so dass, wenn die Anzahl von ihnen erhöht, gibt es Verzögerungen, so dass eine Ressource free'ed wird, so dass es durch verwendet werden kann, der andere Prozess.

Sie sehen, Sie können 24 Kerne haben, aber das bedeutet nicht, dass Ihr gesamtes System es jedem Kern erlaubt, alles gleichzeitig zu machen. Wie in den Kommentaren erwähnt, ist die Speicherzugriff eine Sache, die Verzögerungen verursachen kann (aufgrund des Datenverkehrs), die gleiche Sache für die Festplatte.

Beachten Sie auch die Verbindungsnetzwerk, die auch von vielen Zugriffen leiden kann. Zusammenfassend stellen Sie fest, dass diese Hardwareverzögerungen ausreichen, um die Verarbeitungszeit zu überfordern.

---

Allgemeiner Hinweis: Denken Sie daran, wie Efficiency eines Programms definiert:

E = S/p, wobei S die Beschleunigung und p die Anzahl der Knoten/Prozesse/Threads ist

Jetzt Skalierbarkeit berücksichtigen. Normalerweise sind Programme schwach skalierbar, d. H. Dass Sie die Größe des Problems mit derselben Rate erhöhen müssen und p.Indem Sie nur die Anzahl von p erhöhen, während Sie die Größe Ihres Problems (n in Ihrem Fall) konstant halten, während die Effizienz konstant gehalten wird, ergibt sich ein stark skalierbares Programm.

Answer 2

Ihr Programm verwendet überhaupt keine Parallelverarbeitung. Nur weil Sie es mit OpenMP kompiliert haben, machen Sie es nicht parallel.

Um beispielsweise die for-Schleife zu parallelisieren, müssen Sie das OpenMP-Angebot von # pragma verwenden.

unsigned n = 130000000; 
std::vector<double>vec1(n,1.0); 
std::vector<double>vec2(n,1.0); 
double precision :: t1,t2,dt; 
t1 = MPI_Wtime(); 

#pragma omp parallel for 
for (unsigned i = 0; i < n; i++) 
{ 
    // Do something so it's not a trivial loop 
    vec1[i] = vec2[i]+i; 
} 
t2 = MPI_Wtime(); 
dt = t2-t1; 

jedoch berücksichtigen, dass für große Werte von n, die Auswirkungen des Cache-Misses der perfomance gewonnen mit mehreren Kernen können verstecken.

Answer 3

In Anbetracht der Tatsache, dass Sie ~ 2 GiB Speicher pro Rang verwenden, ist Ihr Code speichergebunden. Mit Ausnahme der Prefetcher arbeiten Sie nicht im Cache, sondern im Hauptspeicher. Sie treffen einfach die Speicherbandbreite bei einer bestimmten Anzahl aktiver Kerne.

Ein anderer Aspekt kann Turbo-Modus sein, wenn aktiviert. Der Turbo-Modus kann die Kernfrequenz auf höhere Werte erhöhen, wenn weniger Kerne verwendet werden. Solange die Speicherbandbreite nicht gesättigt ist, erhöht die höhere Frequenz des Turbokerns die Bandbreite, die jeder Kern erhält. This paper diskutiert die verfügbare aggregierte Speicherbandbreite auf Haswell Prozessoren in Abhängigkeit von der Anzahl der aktiven Kerne und Frequenz (Bild 7./8.)

Bitte beachten Sie, dass dies nichts mit MPI/OpenMPI zu tun hat. Sie können das gleiche Programm auch X-mal über einen anderen Mittelwert starten.