Abfrage schlägt auf Presto-CLI für eine Tabelle in Hive im Orc-Format mit Daten residiert in s3

Question

Ich richte eine Amazon EMR-Instanz, die 1 Master & 1 Core (m4 Large) mit den folgenden Versionsdetails enthält: EMR: 5.5.0 Presto: Presto 0.170 Hadoop 2.7.3 HDFS Hive 2.1.1 Metastore

Meine Spark-App geschrieben, die Daten in ORC auf Amazon S3 aus. Dann habe ich die Tabelle in hive (create external table TABLE ... partition() stored as ORC location 's3a"//') und versuchte, von Presto-cli abzufragen, und ich bekomme die folgende Fehlermeldung für die Suche nach SELECT * from TABLE: Abfrage 20170615_033508_00016_dbhsn fehlgeschlagen: com.facebook.presto.spi.type.DoubleType

Die einzige funktionierende Abfrage ist: SELECT COUNT(*) from TABLE

Irgendwelche Ideen?

Answer 1

Das Problem festgestellt. Die Spaltenreihenfolge, wenn sie als Ork gespeichert wurde, entsprach nicht der Reihenfolge, in der die Tabelle in der Struktur erstellt wurde:) !!!