Importieren Sie große Dateien mit Mathematica

Question

Ich möchte viele große Dateien mit Mathematica importieren, um danach NonlinearModelFit durchzuführen. Also habe ich die Importfunktion wie unten beschrieben benutzt:

files = FileNames["*.dat"]; 
data = Parallelize[Import[#, "Table"] & /@ files] 

Das Problem ist, dass dieser Schritt sehr ... sehr langsam ist. Haben Sie Ideen, diesen Teil zu verbessern? Vielen Dank im Voraus.

Answer 1

Verwenden

ReadList[#, String]&/@files 

oder

ReadList[#, Record]&/@files 

Im Anschluss an die Bemerkung des OP, gibt es verschiedene Möglichkeiten, um eine Spalte zuzugreifen, zum Beispiel.

dataAsStrings = ReadList[#, String]&/@files; 
flatterData = Flatten[dataAsStrings, 1]; 
splitData = StringSplit[#] & /@ flatterData; 
column2 = splitData[[All, 2]]; 

vielleicht Dann ToExpression verwenden Strings in numerische Werte zu konvertieren.