Wie kann ich eine Azure Data Factory-Datei, die in Blob Storage geschrieben wird, variabel benennen?

Question

Ich habe einen ADF mit dem Assistenten erstellt, der Daten von Azure SQL in den Blob-Speicher kopiert.

Bei der Option, einen Ausgabedateinamen anzugeben (siehe Screenshot), möchte ich an den Dateinamen, das Datum der Erstellung der Datei oder einen anderen variablen Wert anhängen. Gibt es eine Möglichkeit, dies zu tun?

Answer 1

Ja, es unterstützt Variablen auf ADF Assistent zum Kopieren angeben. Die unterstützten Variablen sind: {Jahr}, {Monat}, {Tag}, {Stunde}, {Minute} und {Benutzerdefiniert}. Einzelheiten zu diesen Variablen finden Sie im Artikel Data Movement Activities. Beispiel: Eingabeordner/{Jahr}/{Monat}/{Tag}.

Answer 2

Neben the Data Factory Copy Wizard verwenden Sie können auch den Dateipfad ändern und/oder den Namen eines Blob-Datei Datei, indem Sie den json Konfiguration des OutputDataset, die die Erstellung der Datei steuert, (nachdem die Kopie Pipeline aufgebaut) wie folgt aus:

1. Wechseln Sie zur Tabellenquelle "OutputDataset" (json-Konfiguration). Dazu können Sie beispielsweise
   1. Öffnen Sie das Data Factory-Blade für Ihre Data Factory.
   2. Klicken Sie unter Inhalt auf Datasets, um das Blades der Datasets zu öffnen.
   3. Klicken Sie auf das OutputDataset, dessen Benennung Sie anpassen möchten. Dies öffnet den OutputDataset-Blade.
   4. Klicken Sie auf die Tabellenquellenkachel. Sie werden zu den json-Konfigurationseinstellungen für das OutputDataset weitergeleitet.
2. Hinzufügen oder Anpassen von Variablen unter der partitionedBy-Eigenschaft wie im folgenden Beispiel . (Siehe z. B. "firstCustomVariable".)
3. Passen Sie den Dateinamen und/oder den Dateipfad an, um die Variablen gemäß Ihren Anforderungen zu verwenden, wie im folgenden Beispiel gezeigt. (Siehe zB "blobFileName- firstCustomVariable {} .json.gz".)

Siehe auch:
V1: Azure Data Factory - Functions and System Variables
V2: System variables supported by Azure Data Factory
V2: How to read or write partitioned data in Azure Data Factory version 2
Custom Date and Time Format Strings

Beispiel:

{ 
    "name": "OutputDataset-abc", 
    "properties": { 
     "published": false, 
     "type": "AzureBlob", 
     "linkedServiceName": "Destination-BlobStorage-abc", 
     "typeProperties": { 
      "fileName": "blobFileName-{firstCustomVariable}.json.gz", 
      "folderPath": "folderName-{secondCustomVariable}", 
      "format": { 
       "type": "JsonFormat", 
       "filePattern": "arrayOfObjects" 
      }, 
      "partitionedBy": [ 
       { 
        "name": "firstCustomVariable", 
        "value": { 
         "type": "DateTime", 
         "date": "SliceStart", 
         "format": "yyyyMMddHH" 
        } 
       }, 
       { 
        "name": "secondCustomVariable", 
         "value": { 
         "type": "DateTime", 
         "date": "SliceStart", 
         "format": "MM" 
        } 
       } 
      ], 
      "compression": { 
       "type": "GZip", 
       "level": "Fastest" 
      } 
     }, 
     "availability": { 
      "frequency": "Day", 
      "interval": 1 
     }, 
     "external": false, 
     "policy": {} 
    } 
}