Javascript - Umgang mit 3 GB Daten für die regelmäßige Berechnungen

Question

ich zur Zeit über das Layout eines Features für unsere App denke, und da diese bei weitem die schwerste Teil ist, ich bin nicht sicher, wie es zu entwerfen:

Wir wollen Benutzer die Möglichkeit zu geben, ihre Annahmen gegen einen großen Datensatz zu testen.

• Der Datensatz ist über 3 GB groß (json)
• Es vorverarbeitet werden muss (Format geändert werden muss), bevor verwendbar für Berechnungen
• Es in kleinere Dateien wie die Themen innerhalb der großen aufgeteilt werden könnte Datensatz ist trennbar.

Am Anfang dachte ich, ich lese die gesamte Datei in unserem Laden und arbeiten von dort. Ich beginne gerade zu bezweifeln, dass die Erinnerung das überleben wird (welche Art von Konsum anzunehmen, läuft auf aws).

Die Alternative, über die ich nachgedacht habe, liest direkt aus den Dateien, aber dann müsste ich sie teilen (250mb Javascript max?) Oder streamen sie (gute Idee?).

Bevor ich mit dem Schreiben von Code beginne, würde ich gerne verstehen, wie man diese Art von massiven (oder?) Daten am effizientesten in Javascript anwendet. Fürs Erste ist alles möglich.

Danke! Jan

Answer 1

Ich würde Ihre Daten in eine Datenbank und Server verschieben. Ich würde persönlich eine RESTful API erstellen, die die Daten in einer Datenbank ändert, die Sie in Ihrer App aufrufen würden.

Da Sie in Javascript schreiben, können Sie einen Knotenserver für eine RESTful API erstellen und die Daten in einer Datenbank wie SQL oder noSQL speichern. Dann nimm die Daten aus der JSON-Datei und lege sie in die Datenbank.

Ich würde vorschlagen, in die verschiedenen Datenbanktypen zu suchen und eine Datenbank zu verwenden, um Ihre Daten zu manipulieren und zu halten. Die große Frage ist relationale gegenüber nicht-relationalen Datenbanken. Lesen Sie dies, um weitere Informationen zu erhalten: http://jlamere.github.io/databases/