Chunked HDF5 DataSet und Brammengröße

Wir bewerten die Leistung von HDF5 in Bezug auf Chunked-Datasets. Vor allem versuchen wir herauszufinden, ob es möglich ist, verschiedene zusammenhängende Chunks zu lesen und wie die Performance davon beeinflusst wird? Zum Beispiel wir haben einen Datensatz mit einer Chunk-Größe von 10, einen Datensatz mit 100 Werten und möchten die Werte 23 bis 48 lesen. Wird es einen großen Leistungsverlust geben?Chunked HDF5 DataSet und Brammengröße

Vielen Dank!

Quelle

2009-07-24 usac

Ich weiß nicht, wie Sie Ihre Frage speziell beantworten sollen, aber ich empfehle Ihnen, eine Chunk-Größe von 1024 (oder eine höhere Potenz von zwei) zu verwenden. Ich kenne die Interna von HDF5 nicht, aber von meinem Wissen über Dateisysteme und von einem groben Benchmark, den wir gemacht haben, war 1024 genau richtig.

Quelle

2009-07-25 15:17:49

Vielen Dank für Ihre Antwort! Ich habe bereits beobachtet, dass die Chunkgröße selbst ein wichtiger Leistungsfaktor ist. Wie Sie bereits erwähnt haben, ist eine Chunk-Größe von> 1000 ein guter Ausgangspunkt. Ich versuche herauszufinden, wie die Leistung beim Lesen zusammenhängender Daten aus verschiedenen Blöcken beeinflusst wird. Aber ich fürchte, das ist eine Frage, die nicht konkret beantwortet werden kann. Also müssen wir einige Benchmarks durchführen. – usac

Chunked HDF5 DataSet und Brammengröße

Antwort

Verwandte Themen