1. Zuhause
  2. Frage und Antwort
  3. Wie zu behandeln oder Architektur, inkrementelle Datenaufnahme in Azure Data Lake Store?

Wie zu behandeln oder Architektur, inkrementelle Datenaufnahme in Azure Data Lake Store?

2017-04-19 3 views
0

Ich habe zwei benutzerdefinierte Code-DLL, für Bild im Zusammenhang mit IP-Cams.Wie zu behandeln oder Architektur, inkrementelle Datenaufnahme in Azure Data Lake Store?

dll-One: Bild aus IP-Cams extrahieren und in Azure Data Lake Store gespeichert werden.

Wie:

  • /ADL/clinic1/patientimages
  • /ADL/clinic2/patientimages

dll-zwei: diejenigen Bild verwenden und Informationen daraus extrahieren und Laden Sie Daten in RDBMS-Tabellen.

So zum Beispiel in RDBMS, sagen, es gibt die Entitäten Dimpatient, Dimclinic und FactpatientVisit.

Zum Anfang können einmalige Daten an einen bestimmten Speicherort in Azure Data Lake Store exportiert werden.

Like:

  • /ADL/dimpatient
  • /ADL/dimclinic
  • /ADL/factpatientVisit

Frage: Wie in gleichen inkrementellen Daten drücken Datei oder wie können wir mit dieser inkrementellen Belastung in Azure Data Analytics umgehen?

Dies entspricht der Implementierung von Warehouse in Azure Data Analytics.

Hinweis: Azure SQL db oder ein anderer von Azure angebotener Speicher ist nicht erforderlich. Ich meine, warum in anderen Azure-Diensten auszugeben, wenn ein Speichertyp über Funktionen zum Speichern aller Datentypen verfügt.

adls ist der Name meines ADLS-Speichers.

Quelle

2017-04-19 Harsimranjeet Singh

Antwort

1

Ich bin mir nicht sicher, ob ich Ihre Frage vollständig verstanden habe, aber Sie können Ihre Datendateien in Azure Data Lake Store oder Ihre Zeilen in partitionierten U-SQL-Tabellen entlang einer Zeitdimension organisieren, sodass Sie jeweils neue Partitionen/Dateien hinzufügen können Zuwachs. Im Allgemeinen empfehlen wir, dass solche Inkremente von beträchtlicher Größe sind, um die Skalierbarkeit zu erhalten.

Quelle

2017-04-19 16:24:36

+0

Ich möchte Datawarehouse in ADLS implementieren, aber als ADLS ist Dateityp speichern. Wie können wir in diesem Szenario eine inkrementelle Last implementieren? –

+0

Was ich aus Ihrer Meinung verstanden habe ist, jedes Jahr und dann Monat und Datum Ordner zu erstellen und dann meine Dimension und Tatsache für diesen Tag wird als Datei residieren. Also, wenn mein Speichername ADLS ist, sollte ich meine Daten wie ADLS/2017/04/19/erstellen oder partitionieren, unter denen es drei Dateien für jede Entität geben kann und dasselbe Konzept für den nächsten Tag fortsetzen kann. Hat mich erleuchtet, wenn ich deinen Vorschlag richtig verstanden habe. –

+0

Auch Grund für die Fokussierung auf die Architektur des Warehouse-Typs, weil ich möchte, dass das Profiling auf Basis von Patient und Klinik mit AzureML erfolgt, wie wir historische Daten für das Data Mining verwenden und daraus Muster finden. –

Verwandte Themen

 Verwandte Themen