Effizienter Weg, um große Daten in R

Question

Ich habe eine riesige CSV-Datei, 1.37 GB, und wenn ich meine Glm in R, stürzt es ab, weil ich nicht genügend Speicher zugewiesen haben. Sie wissen, der reguläre Fehler ..

Gibt es keine Alternative zu den Paketen ff und bigmemory, weil sie nicht gut für mich arbeiten, weil meine Spalten eine Mischung aus ganzen Zahlen und Zeichen sind, und es scheint mit den beiden Pakete Ich muss angeben, welcher Typ meine Spalten sind, entweder Char oder Integer.

Wir sind bald im Jahr 2018 und im Begriff, Leute auf Mars zu setzen; Gibt es keine einfache "read.csv.xxl" -Funktion, die wir verwenden können?

Answer 1

Ich würde zuerst Ihre Frage beantworten, indem das Erkennen, nur weil Ihre Beispieldaten nimmt 1,37 GB ist nicht überhaupt bedeuten, dass 1,37 GB zufriedenstellend wäre, alle Ihre Rechnungen mit dem glm Paket zu tun. Höchstwahrscheinlich könnte eine Ihrer Berechnungen mindestens ein Vielfaches von 1,37 GB erreichen.

Für den zweiten Teil wäre ein praktisches Workaround hier, nur eine angemessene Unterprobe Ihres 1.37 GB Datensatzes zu nehmen. Müssen Sie wirklich Ihr Modell mit alle die Datenpunkte im ursprünglichen Datensatz erstellen? Oder, würde eine 10% -Substichprobe Ihnen auch ein statistisch bedeutendes Modell geben? Wenn Sie die Größe des Datensatzes verringern, lösen Sie das Speicherproblem mit R.

Denken Sie daran, dass R vollständig im Speicher ausgeführt wird, dh wenn Sie den verfügbaren Speicher überschritten haben, können Sie Pech haben .