Nach finding out Hive LLAP, ich möchte es wirklich verwenden.Hive LLAP funktioniert nicht mit Parkett Format
Ich startete Azure HDinsight-Cluster mit LLAP aktiviert. Es scheint jedoch nicht besser zu funktionieren als normales Hive. Ich habe Daten in Parquet-Dateien gespeichert. Ich sehe nur ORC-Dateien, die in LLAP-bezogenen Dokumenten oder Vorträgen erwähnt werden.
Unterstützt es auch Parkett-Format?
Beantworten meiner eigenen Frage.
Wir haben Azure Unterstützung erreicht. Hive LLAP funktioniert nur mit ORC-Dateiformat (Stand 05.2017).
Bei Parkett müssen wir entweder Apache Impala für schnelle interaktive Abfragen (https://impala.incubator.apache.org) als Alternative zu LLAP verwenden oder das gespeicherte Dateiformat in ORC ändern.
Update: Dies ist derzeit in Arbeit und nicht mehr der Fall mit der nächsten Version von HDP. Ab HDP 3.0. LLAP unterstützt das Caching für das Parquet-Dateiformat. Dieses Update sollte kurz nach dem Release 3.0 in HDInsights einfließen.
Ja. Ich kann bestätigen. Mit Parkett Format kein Cache. –