Ich habe Hive externen Tisch mit Parkett Daten. Hier wird keine Komprimierung verwendet. Ich schreibe Daten (Parkett-Dateien) in das HDFS-Verzeichnis mithilfe eines Spark-Jobs. Aber wenn ich versuche, Daten aus der Tabelle auszuwählen, bekomme ich unter Fehler/Warnung und Ausgabe erscheint nicht. Ich bin mir sicher, dass dies ein häufiges Problem ist. Bitte lassen Sie mich wissen, wie ich das überwinden kann?Hive externen Tisch mit Parkett Daten nicht Daten auswählen
Hive - 1.2.1000.2.5.0.0-1245 hdp - 2.5.0.0-1245 Funken Version 1.6.2
1 Jun, Jahr 2017 17.04.27 ACHTUNG: org.apache .parquet.CorruptStatistics: Statistiken ignorieren, da created_by nicht analysiert werden konnte (siehe PARQUET-251): Parkett-Version 1.6.0 org.apache.parquet.VersionParser $ VersionParseException: konnte created_by: Parkett-mr Version 1.6.0 nicht parsen mit format: (. +) version ((. ))? (build? (.)) bei org.apache.parquet.VersionParser.parse (VersionParser.java:112) bei org.apache .parquet.CorruptStatistics.shouldIgnoreStatistics (CorruptStatistics.java:60) bei org.apache.parquet.format.converter.ParquetMetadataConverter.fromParquetStatistics (ParquetMetadataConverter.java:263)
Es scheint, dass, da die Parkett Schriftsteller Version verwendet im Funkenjob und der, in dem man in Hive liest, ist anders und es gibt eine Lücke zwischen ihnen. Hier können wir sehen, in Hive die Version verwendet wird, um zu lesen ist Parkett-Herr Version 1.6.0
Nun, wenn mir jemand sagen kann, wie kann ich die Version von Parkett Schriftsteller im Funken Job oder ändern, wie Hive Parkett ändern Leserversion, ich kann das versuchen, um dieses Problem zu lösen.