Index im Parkett

Question

Ich würde gerne eine schnelle Bereich Abfrage auf einem Parkett Tisch machen können. Die Menge der zurückzugebenden Daten ist im Vergleich zur Gesamtgröße sehr klein, aber da ein vollständiger Spaltenscan durchgeführt werden muss, ist es für meinen Anwendungsfall zu langsam.

Mit einem Index würde dieses Problem lösen und ich las, dass dies in Parquet 2.0 hinzugefügt werden sollte. Ich kann jedoch keine weiteren Informationen dazu finden, daher vermute ich, dass dies nicht der Fall war. Ich glaube nicht, dass es grundsätzliche Hindernisse für das Hinzufügen von (mehrspaltigen) Indizes geben würde, wenn die Daten sortiert wären, was in meinem Fall der Fall ist.

Meine Frage ist: wann werden Indizes zu Parkett hinzugefügt, und was wäre das High-Level-Design dafür? Ich denke, ich wäre schon mit einem Index zufrieden, der auf die richtige Partition hinweist.

Mit freundlichen Grüßen,

Sjoerd.

Answer 1

Parquet verwaltet zur Zeit die Min/Max-Statistik für jede Datenseite. Eine Datenseite ist eine Gruppe von ~ 1 MB Werten (nach der Codierung) für eine einzelne Spalte; Mehrere Seiten bilden das Parquet's column chunks.

Diese Min/Max-Werte werden zum Filtern von Spaltenabschnitten und Seiten, aus denen ein Chunk besteht, verwendet. Sie sollten also in der Lage sein, Ihre Abfragezeit zu verbessern, indem Sie die Datensätze nach den Spalten sortieren, nach denen Sie filtern möchten, und dann die Daten in Parquet schreiben. Auf diese Weise holen Sie das Beste aus der Statistikfilterung heraus.

Sie können mit dieser Technik auch eine feinere Filterung erzielen, indem Sie die Seiten- und Zeilengruppengröße verringern, obwohl Sie dann mit Codierungseffizienz und E/A-Effizienz handeln.

Answer 2

struct IndexPageHeader { 
    /** TODO: **/ 
} 

https://github.com/Parquet/parquet-format/blob/f7ab552f569df63bdb59f751d0dd36e826682739/src/thrift/parquet.thrift#L338

Index Seitenkopf ist nicht, als der noch umgesetzt werden.

Siehe Quellcode des obigen Parquet-Formats.

Ich sehe es nicht einmal in Parkett 2.0 derzeit.