0
Ich normalerweise in Verbindung mit Gateway-Knoten über Putty und Ausführen von Hive-Abfragen dort drüben.Hive - Wie kann ich die Ergebnisse der Hive-Abfrage speichern, um später verwiesen zu werden?
Bei mehreren Gelegenheiten laufen die Abfragen stundenlang zusammen. Und mindestens ein paar Mal wird Putty getrennt, und die Ausführung der Abfragen wird ebenfalls abgebrochen.
Gibt es eine Möglichkeit, Strukturabfrageergebnisse irgendwie zu speichern, so dass ich sie zu späteren Zeitpunkten untersuchen kann?
Ich möchte nicht eine andere Tabelle erstellen, nur um die Ergebnisse zu speichern.
Also, im Grunde wollen Sie Ihre Abfrage im Hintergrund laufen zu lassen und die Ergebnisse in Textdateien Dump? Es gibt Dienstprogramme wie 'nohup' und' batch', die es seit mindestens 40 Jahren gibt ... Zum Beispiel 'nohup hive -e 'SELECT COUNT (*) FROM wtf" 2> $ HOME/query.log 1> $ HOME/query.out & ' –
@Samson Scharfrichter: Sorry, ich habe einen Fehler gemacht, ich habe die Frage aktualisiert. Die Abfrage wird abgebrochen, wenn die Putty-Verbindung getrennt wird. Ihre Antwort ist jedoch nützlich! Vielen Dank. – Marco99
Sie können den PuTTY-Schritt auch ganz vermeiden, ** wenn ** Sie HiveServer2 auf Ihrem Cluster ausführen, ** wenn ** es keine Firewall gibt, die verhindert, dass Ihr PC eine Verbindung zum HS2-Computer an Port 10000 herstellt, und ** if * * Sie verwenden keine Hive CLI-Variablen -> installieren DBVisualizer oder ein ähnliches Dienstprogramm, installieren einen Hive JDBC-Treiber * (vorzugsweise den Cloudera-Treiber, es ist ein kostenloser Download; der Apache-Treiber benötigt ein Sammelsurium zusätzlicher JARs, hat keine Kompatibilitätssicherung im Vergleich zu älteren HiveServer2-Versionen, und es ist ein Albtraum, mit Kerberos-Authentifizierung zu konfigurieren *), und führen Sie die Abfragen direkt von Ihrem PC aus. –