Laden von PetaBytes von Daten im Maßstab

Question

Ich muss Petabyte Textdaten in einem Speicher (RAM/SSD) innerhalb einer Sekunde laden.

Im Folgenden sind einige der Fragen zur Lösung des oben genannten Problems.

1) Ist es praktisch/theoretisch möglich Petabytes von Daten in einer Sekunde zu laden? 2) Was ist der beste Design-Ansatz, um schnelles Laden von Petabyte-Daten in wenigen Sekunden zu erreichen? 3) Jeder Benchmark-Ansatz verfügbar ?.

Ich bin okay, mit jeder Art von Technologien wie Hadoop zu implementieren, funken, HPCC etc ...

Answer 1

"Petabyte .... innerhalb einer Sekunde". ernst? Bitte überprüfen Sie wikipedia Petabyte: es ist 1.000.000 GB!

Überprüfen Sie auch wikipedia Memory bandwidth. Selbst der schnellste RAM kann nicht mehr als ein paar 10 GB/s verarbeiten (in der Praxis ist dies viel niedriger).

Nur neugierig: Was ist Ihr Anwendungsfall?

Answer 2

Nein, zu diesem Zeitpunkt ist es technisch nicht möglich. Nicht einmal RAM-Speicher ist schnell genug (ganz zu schweigen von den offensichtlichen Kapazitätsbeschränkungen). Die schnellste SSD (M.2-Laufwerke) kann Schreibgeschwindigkeit um 1,2GB/s bekommen und mit Raid 0 erreichen Sie Geschwindigkeiten von maximal 3GB/s. Es gibt auch wirtschaftliche Einschränkungen, da diese Laufwerke für sich selbst ziemlich teuer sind.
Um Ihre Frage zu beantworten, sind diese Geschwindigkeiten zur Zeit technisch nicht möglich.

Answer 3

Von HPCC Perspektive ...

Thor wurde entwickelt, um Daten zu laden und mehrere Server zu unterstützen. Der größte Cluster, von dem ich gehört habe, ist ungefähr 4000 Server. Thor wurde entwickelt, um viele Daten über lange Zeit (sogar eine Woche) zu laden.

In der anderen Hand Roxie ist entworfen, um Daten schnell zu dienen, aber ist nicht das, was Sie verlangen ... noch könnte es Petabytes unter einer Sekunde dienen.