Hive Syntax Process Control

Question

Ich habe mehrere Hive-Skripte Dateien (+350. Hql), die unter ihnen in einem Sinne verwandt sind, dass ein Skript erstellt eine Tabelle, die ein anderes Skript benötigen. Das Problem ist, dass immer eine Menge Fehler angezeigt werden, die mit einer Tabelle oder Spalte zusammenhängen, die kein Skript erstellt. Also die Frage: Gibt es eine Möglichkeit, nur einen Syntax-Validator von Hive zu starten, oder nehmen Sie die Skripte und nur Metadaten erstellen stattdessen alle Tabellen (die lange dauern) nur für den Test der Beziehung der Skripte funktioniert gut?

Answer 1

Ich habe über eine Lösung nachgedacht, aber ich bin nicht sicher, ob es die optimale Lösung ist. Wenn die Haupteingabe von SQL-Tabellen stammt, könnte die erste Idee die Referenz dieser Tabellen durch Referenzen auf Dummy-SQL-Tabellen oder Eingabetabellen ersetzen, die nur ein paar Zeilen oder keine Zeilen haben, um nur Metadaten zu erzeugen. Danach werden alle nachfolgenden Skripte nur leere Tabellen als Eingabe (oder Tabelle mit wenigen Zeilen) verwenden, um komplette schwere Tabellen

zu verarbeiten