2016-08-05 21 views
0

Ich bin dabei, ein vorhandenes Azure Data Factory-Projekt in meiner Lösung zu integrieren. Während ich die Data Factory Pipelines beobachtete, sah ich, dass alle Pipelines SqlSource verwenden und das Ziel ist AzureQueueSink.Wann AzureQueueSink zu verwenden ist

Die Eingabedatensätze sind 1. on-prem Tabelle 2. Die Ausgabe einer gespeicherten Prozedur

Der Ausgang ist eine Azure SQL-Tabelle.

Nun bin ich verwirrt, wenn ich diese AzureQueueSink verwenden, die ich auf Google überprüft habe, aber ich habe keine Informationen über den Anwendungsfall dafür gefunden.

Unten ist die Beispiel-Pipeline-Aktivität.

{ 
    "$schema": "http://datafactories.schema.management.azure.com/schemas/2015-09-01/Microsoft.DataFactory.Pipeline.json", 
    "name": "OnPremToAzureList", 
    "properties": { 
    "activities": [ 
     { 
     "type": "SqlServerStoredProcedure", 
     "typeProperties": { 
      "storedProcedureName": "dbo.TruncateStgTable", 
      "storedProcedureParameters": { "TableName": "[dbo].[List]" } 
     }, 
     "inputs": [ 
      { 
      "name": "AzureSqlTableStart" 
      } 
     ],  
     "outputs": [ 
      { 
      "name": "AzureSqlTableTruncate" 
      } 
     ], 
     "scheduler": { 
      "frequency": "Day", 
      "interval": 1 
     }, 
     "name": "SPTruncateStgTable" 
     },  
     { 
     "name": "CopyActivityList", 
     "type": "Copy", 
     "inputs": [ 
      { 
      "name": "OnPremList" 
      }, 
      { 
      "name": "AzureSqlTableTruncate" 
      } 
     ], 
     "outputs": [ 
      { 
      "name": "AzureSqlTableList" 
      } 
     ], 
     "typeProperties": { 
      "source": { 
      "type": "SqlSource", 
      "sqlReaderQuery": "select * from dbo.List" 
      }, 
      "sink": { 
      "type": "AzureQueueSink", 
      "writeBatchSize": 1000, 
      "writeBatchTimeout": "00:30:00" 
      } 
     }, 
     "policy": { 
      "concurrency": 1, 
      "executionPriorityOrder": "OldestFirst", 
      "retry": 1, 
      "timeout": "01:00:00" 
     }, 
     "scheduler": { 
      "frequency": "Day", 
      "interval": 1 
     } 
     } 
    ] 
    } 
} 

Jede Hilfe wird sehr geschätzt.

Antwort

1

Bitte verwenden Sie AzureQueueSink nicht als Kopie in Azure Queue wurde nicht ausgeliefert und wir haben keine Pläne, es zurückzubringen. Es ist versehentlich in unser Sdk/Schema gelandet :)

Dieser Sink-Typ gibt Ihnen jetzt unbestimmbares Verhalten, das funktioniert, aber dieses Verhalten soll nicht zu lange dauern.

+0

Danke für das Update. Ich hatte über 50 Aktivitäten, die 'AzureQueueSink' verwendeten. Ich habe es bereits korrigiert. – Sandesh