Ich habe einige Geräte, die Daten in Tabelle pro Sekunde protokollieren werden. Jedes Gerät wird 16 Datensätze pro Sekunde haben, wie die Anzahl der Geräte wachsen wird die Tabelle Milliarden von Datensätzen haben, jetzt bin ich mit sql server, manchmal eine einfache record count-anfrage selbst dauert sekunden, um auszuführen.Große Datenmengen und SQL-Server
Es gibt Situation, wo wir historische Daten meist als Durchschnitt der Daten in der Stunde benötigen, also verarbeiten wir große Daten jede Stunde und konvertieren sie in stündliche Daten, so dass es nur 16 Datensätze für ein Gerät in einer Stunde gibt eine Anforderung, alle Datensätze zwischen bestimmten Zeitbereichen zu erfassen und zu verarbeiten, sodass wir auf Big Data zugreifen müssen.
zur Zeit benutze ich SQL-Server, können Sie bitte einige alternative Methoden vorschlagen oder wie Sie mit Big Data in SQL-Server oder eine andere db umgehen.
Möglicherweise müssen Sie überlegen, wie Sie die Abfrage verbessern können, anstatt DB zu wechseln. Lesen Sie diese Antwort für weitere Details: http://stackoverflow.com/questions/2794736/best-data-store-for-billions- of-rows/2794983 # 2794983 – TheGameiswar
Danke für die Bearbeitung und Link, Gibt es eine bestimmte Version von Sql-Server, die speziell für große Datenmengen erstellt wird. –
Schuss! Komplexes Thema Was ist dein momentan begrenzender Faktor? Liest pro Sekunde? Disc-Speicherplatz? Lesezeit? Ausfallzeit? – Xedni