Öffentlicher Datensatz in Billionenreihen?

Question

Ich führe einige Benchmarks in einer Datenbank durch und frage mich, ob es öffentlich verfügbare Datensätze gibt, die über 1T Zeilen enthalten?

Ich weiß Google Big Query hat ein paar öffentlich verfügbare Datensätze, die 100M + (wikipedia, gdelt-Ereignisse) und 1B + (nyc-tlc) Reihen sind, konnte aber nichts größeres finden. Kennt jemand einen 1T-Datensatz, der entweder heruntergeladen werden kann?

Einige Referenz Links:

• https://aws.amazon.com/public-datasets/
• https://cloud.google.com/public-datasets/

Answer 1

Es gibt die Benchmark-Wiki Tabellen. Es hat den größten öffentlichen Tisch, den ich gesehen habe. Die größte Tabelle ist 106B Zeilen (6,76 TB). Wenn Sie wirklich eine Billion Zeilen haben wollten, könnten Sie einfach ~ 10 * Kopieren Append-Jobs ausführen!

https://bigquery.cloud.google.com/table/bigquery-samples:wikipedia_benchmark.Wiki100B?tab=details

Answer 2

Wäre es nicht einfacher sein, nur den Datensatz zu erzeugen? Sicher bleibt die Frage, wie realistisch die Wertverteilungen und Korrelationen sind und wie groß diese Auswirkungen auf die gemessene Leistung haben.

Und wenn Sie davon ausgehen können, dass der Cluster linear skaliert, können Sie einfach einen Benchmark mit 5% der Daten und 5% der Anzahl der Knoten erstellen, die den Produktionscluster erwarten. Unabhängig von der Datensatzgröße wählen Sie einfach die Anzahl der Knoten aus, damit sie die benötigte Anzahl an Anfragen pro Minute ausführen können.

Das Erstellen einer Sicherungskopie dieser Größe muss ein ziemlich interessantes Problem sein, besonders wenn es ständig aktualisiert wird.