0
Ich empfange Nachrichten von Sensoren in Kinesis, verarbeiten Sie es mit Lambda und laden Sie Redshift mit Kinesis Firehose. Alle Nachrichten werden analysiert und in eine große Staging-Tabelle eingefügt. Wir müssen Aggregation/Analyse von Sensordaten durchführen. Neben Sensordaten gibt es auch viele Informationen in der Kopfzeile, die wir speichern, aber momentan nicht verwenden.Normalisierung vs Kompression
Ist es für mich sinnvoll, Daten aus dieser Staging-Tabelle in ein normalisiertes Sternschema zu laden oder nur die Komprimierung für Spalten zu aktivieren und stattdessen eine riesige denormalisierte Tabelle zu verwenden? Wie gut funktioniert Redshift mit denormalisierten Daten? Vor- und Nachteile beider Optionen?
Nicht sicher, was Sie unter "normalisiertes Sternschema" verstehen - per Definition sind Sternschemas * denormalized *. – Nathan
Warum testen Sie nicht Ihre Hypothese? Versuchen Sie, die Daten in ein Sternschema zu laden, vergleichen Sie Ihre häufigsten Abfragen und die Größe der Tabellen. Und laden Sie die Daten in eine große Tabelle und machen Sie dasselbe. Du wirst deine Antwort haben. Es hängt wirklich vom Anwendungsfall für die Tabelle und Größe der Daten ab. Kein "richtiger Weg", um dies zu tun. – Satyadev
@Nathan Du hast recht, ich meinte schneeflockenartig mit normalisierten Dimensionen – szu