Wie unterscheidet sich mpi_file_write von mpi_file_write_all?

Question

Das ist so ziemlich die Frage. Ich meine, ich weiß, dass mpi_file_write_all die "kollektive" Version ist, aber ich denke, dass mpi_file_write sowieso von mehreren Prozessen gleichzeitig aufgerufen wird. Worin besteht der Unterschied in ihrer Funktionsweise? Vielen Dank.

Answer 1

Funktionell gibt es in den meisten praktischen Situationen wenig Unterschied. Wenn Ihr IO mit mpi_file_write_all() korrekt funktioniert, sollte es mit mpi_file_write() funktionieren, es sei denn, Sie machen etwas sehr Kompliziertes. Die Umkehrung ist nicht streng zutreffend, aber in den meisten realen Situationen, die ich gesehen habe, wo alle Prozesse einfache reguläre IO-Muster zur gleichen Zeit machen, funktioniert mpi_file_write_all(), wenn mpi_file_write() funktioniert.

Wie auch immer, der Punkt ist, dass wenn Sie mpi_file_write() aufrufen, die IO-Bibliothek diese IO-Anfrage dort verarbeiten muss und dann nicht davon ausgehen kann, dass andere Prozesse auch IO ausführen. Bei allen außer den einfachsten parallelen Dekompositionen umfassen die Daten eines einzelnen Prozesses keinen einzigen zusammenhängenden Teil der Datei. Als Ergebnis führt jeder Prozess eine große Anzahl kleiner E/A-Transaktionen durch (Schreiben, Suchen, Schreiben, Suchen, ...), was in einem parallelen Dateisystem sehr ineffizient ist. Schlimmer noch, es sperrt wahrscheinlich die Datei, während sie IO ausführt, um andere Prozesse zu stoppen, die das beeinflussen, was sie tut, damit IO über Prozesse hinweg serialisiert werden kann.

Mit write_all() hat die IO-Bibliothek eine globale Sicht und weiß, was jeder Prozess macht. Erstens ermöglicht dies die Reorganisation der Daten, so dass jeder Prozess einen einzigen großen Datenblock zum Schreiben in die Datei hat. Zweitens kann es, da es die Kontrolle über alle Prozesse hat, vermeiden, die Datei zu sperren, da es sicherstellen kann, dass Schreibvorgänge nicht in Konflikt stehen.

Für einfache regelmäßige Muster, z.B. ein großes 3D-Array, das über ein 3D-Raster von Prozessen verteilt ist, habe ich massive Unterschiede zwischen den kollektiven und nicht-kollektiven Ansätzen auf einem Cray mit einem Lustre-Dateisystem gesehen. Der Unterschied kann Gigabytes/Sekunde vs. Zehn Megabyte/Sekunde betragen.

PS Ich gehe hier davon aus, dass das Muster viele Prozesse sind, die Daten in eine einzige gemeinsame Datei schreiben. Zum Lesen sollte es auch eine Verbesserung geben (eine kleine Anzahl von großen zusammenhängenden Lesevorgängen), aber vielleicht nicht so dramatisch, wie das Sperren von Dateien zum Lesen nicht erforderlich ist.