Dynamische FROM in U-SQL-Anweisung

Question

Ich versuche, eine dynamische FROM-Klausel in U-SQL zu generieren, so dass wir Daten aus verschiedenen Dateien basierend auf einem vorherigen Abfrageergebnis extrahieren können. Das ist so etwas wie diese:

@filesToExtract = SELECT whatevergeneratesthepaths from @foo; <-- this query generates a rowset with all the file we want to extract like: [/path/file1.csv, /path/file2.csv] 
SELECT * FROM @filesToExtract; <-- here we want to extract the data from file1 and file2 

Ich habe Angst, dass diese Art von Dynamik-Abfragen werden noch nicht unterstützt, aber kann jemand helfen mich wegweisend dies zu erreichen? Es scheint, dass der einzige gangbare Ansatz darin besteht, ein anderes U-SQL-Skript zu generieren und anschließend auszuführen.

Vielen Dank im Voraus.

Answer 1

Es ist nicht ganz klar aus Ihrer Frage, wenn Sie möchten, dass die Dateinamen dynamisch abgerufen und an eine EXTRACT-Anweisung oder den Namen von Tabellen/Rowsets übergeben und an die FROM-Klausel von SELECT übergeben werden. Oder beides.

Im Allgemeinen können Sie keine Quellennamen dynamisch aus Ihrem U-SQL-Ausdruck generieren. Eventuell möchten Sie hier eine Feature-Anfrage http://aka.ms/adlfeedback für dynamisch oder statisch parametrierbare Quellen ablegen.

Nachdem dies gesagt wurde, kann es je nach Ihren genauen Anforderungen einige Möglichkeiten geben, Ihre Ziele zu erreichen, ohne die von Ihnen beschriebene Umgehung.

Zum Beispiel könnten Sie Ihren Code als parametrisierte Tabellenwertfunktion schreiben und dann die verschiedenen Rowsets mit verschiedenen Skripten übergeben, oder - wenn Sie statisch entscheiden können, welches Rowset Sie wählen sollen - können Sie die IF-Anweisung verwenden.

Hier ist ein Pseudo-Code Beispiel:

DECLARE EXTERNAL @someconditionparameter Boolean = true; 

IF (@someconditionparameter) THEN 
    @data = EXTRACT a int, b string FROM @fileset1 USING Extractors.Csv(); 
ELSE 
    @data = EXTRACT a int, b string FROM @file2 USING ...; 
END; 

@results = MyTableValuedFunction (@data); 
... 

Wenn Ihre Dateien unterschiedlich schematisiert sind, können Sie in der Lage sein, flexible Spaltensätze zu verwenden (derzeit in der Vorschau, Notizen siehe Release) in der TVF das zu handhaben Variabilität des Rowset-Schemas.