Parkett: Unterschied zwischen Metadaten und common_metadata

Question

Wenn eine Metadatendatei schreiben, die ThriftParquetWriter erzeugt tatsächlich zwei Dateien: _metadata und _common_metadata

https://github.com/Parquet/parquet-mr/blob/master/parquet-hadoop/src/main/java/parquet/hadoop/ParquetFileWriter.java#L404

Was ist der Unterschied zwischen diesen beiden Dateien? Sie haben eine andere Dateigröße, so gibt es im Quelltext bei https://github.com/Parquet/parquet-mr/blob/master/parquet-hadoop/src/main/java/parquet/hadoop/ParquetFileWriter.java

Answer 1

Bei der Suche einen Unterschied

Dank sein muss, scheint es mir, dass:

_common_metadata enthält die fusionierte Schemata für das Parkett Dateien in diesem Verzeichnis

_metadata enthält nur das Schema der zuletzt geschriebenen Parkettdatei in diesem Verzeichnis