Stream Analytics-Jobreferenzdaten treten bei der Erstellung von Duplikaten auf

Question

Ich verwende Stream Analytics, um Streamingdaten (über IoT Hub) und Referenzdaten (über Blobspeicher) beizutreten. Die Referenzdaten-Blobdatei wird jede Minute mit den neuesten Daten erzeugt und hat das Format "Dateiname- {Datum} {Zeit} .csv". Die Referenz-BLOB-Dateidaten werden in der Azure Machine Learning-Funktion als Parameter in einem SA-Job verwendet. Die Ausgabe des Stream-Analyse-Jobs (in Azure SQL oder Power BI) scheint mehrere Zeilen anstelle von einem für die Ausgabe der Azure Machine Learning-Funktion zu generieren, jeweils eine für Parameterwerte aus früheren BLOB-Dateien. Nach meinem Verständnis sollte es nur den neuesten Inhalt der Blob-Datei verwenden, aber es sieht so aus, als würde es alle Blob-Dateien verwenden und mehrere Zeilen aus der AML-Ausgabe erzeugen. Hier ist die Abfrage Ich verwende.

SELECT AMLFunction (Ref.Input1, Ref.Input2), * VON IoTInput Stream- LEFT JOIN RefBlobInput Ref ON Stream.DeviceId = Ref [DeviceID]

Bitte Können Sie sich beraten lassen, ob die Abfrage oder der Dateipfad geändert werden muss, um doppelte Datensätze zu vermeiden? Danke

Answer 1

Um nur die letzte Datei wirksam werden zu lassen, müssen Sie Ihre Datei in einer bestimmten Ordnerstruktur speichern.

Wenn Sie sich notieren, wann immer Sie Referenzdatendatei als Stream-Eingang wählen; stream-Eingabedialog fragt Sie nach Ordnerstrukturen mit Datums- und Zeitformat.

Stream sucht immer nach Referenzdatei vom letzten {date}/{time} -Ordner. dh Sie benötigen, um Ihre Datei zu speichern, wie,

2018-01-25/07: 30/filename.json (YYYY-MM-DD/HH-mm/filename.json)

HINWEIS: Hier Ihre Zeit Der Ordner muss für jede Minute eindeutig sein. Gleich wie, Datumsordner muss für jedes Datum eindeutig sein. Wenn Sie eine neue Datei erstellen, erstellen Sie sie mit einem neuen Zeitstempelordner und einem aktuellen Datumsordner.

Sie können ein beliebiges Datetime-Format verwenden, das von Stream-Eingaben unterstützt wird.