So erhalten Sie den Namen der Eingabedatei als Spalte in AWS Athena externe Tabellen

Ich habe externe Tabellen in AWS Athena erstellt, um S3-Daten abzufragen, aber der Speicherortpfad hat mehr als 1000 Dateien. Daher muss der entsprechende Dateiname des Datensatzes angezeigt werden Spalte in der Tabelle.So erhalten Sie den Namen der Eingabedatei als Spalte in AWS Athena externe Tabellen

wählen file_name, col1 aus der Tabelle, wo file_name = "test20170516"

Kurz gesagt ich brauche INPUT__FILE__NAME (Bienenstock) gleichwertig in AWS Athena Presto oder andere Wege kennen, um das gleiche zu erreichen.

2017-05-16 Rajeev

Sie können dies mit der Pseudospalte $ path tun.

2017-05-16 21:11:42

Vielen Dank für die Info.Bitte können Sie mich jeden Link zu diesem Thema wissen, wie ich für eine Weile gesucht und konnte keine finden. – Rajeev

Ich habe es vor einer Weile durch das folgende GitHub Problem gefunden. https://github.com/prestodb/presto/issues/5486 –

Danke nochmal. Gibt es noch andere Pseudospalten, von denen Sie wissen? – Rajeev

Wenn Sie nur den Dateinamen benötigen, können Sie ihn mit regeexp_extract() extrahieren.

Um es in Athena auf der "$path" verwenden Sie so etwas wie dies tun können:

SELECT regexp_extract("$path", '[^/]+$') AS filename from table;

Wenn Sie den Dateinamen ohne die Erweiterung benötigen, können Sie tun:

SELECT regexp_extract("$path", '[ \w-]+?(?=\.)') AS filename_without_extension from table;

2017-09-01 21:48:53 campeterson

Ich habe split_part ("$ PATH", "/", 7) verwendet, um den Dateinamen zu erhalten, Ihr ist jedoch generischer.Thanks. – Rajeev

Das ist fantastisch. Vielen Dank! – PubNub

Antwort