Der beste Weg, riesige Sammlung von Datensätzen zu XLS zu speichern

Ich benutze eine MySQL-Datenbank mit Millionen von Datensätzen. Ich muss in der Lage sein, eine große Anzahl von Datensätzen in einer XLS- (und PDF-) Datei zu speichern. Welches ist die beste Lösung?Der beste Weg, riesige Sammlung von Datensätzen zu XLS zu speichern

Ich habe so etwas versucht: Export very large data to Excel file aber es verwendet zu viel RAM (ca. 6go).

Außerdem habe ich versucht, die Datensätze in eine Datentabelle zu speichern und dann in eine Datei mit RDLC zu schreiben. Ich habe immer noch das RAM-Problem, diesmal ist es schlimmer.

Ich habe keine Ideen mehr. Ich habe versucht, 1mil-Datensätze ohne Erfolg zu exportieren. Irgendwelche anderen Vorschläge?

Quelle

2016-04-13 Corbeanu Alexandru

Haben Sie versucht, die Zeilen einfach in Stapeln zu verarbeiten, anstatt alle Zeilen gleichzeitig zu verarbeiten? – bassfader

Ich habe dies schon einmal getan, indem ich jedes Mal, wenn es 65536 Zeilen erreicht, in ein neues Excel-Blatt aufspalte. Vielleicht betrachten Sie das als eine Option. –

Ja Bassfader, ich tat das, funktioniert nicht. Ich habe Davy C ideea benutzt, es funktioniert ein bisschen besser, aber nicht perfekt. –

XLS hat eine Beschränkung von 65.000 Zeilen und neuere Excel-Formate haben ein Limit knapp über 1m Zeilen. https://superuser.com/questions/366468/what-is-the-maximum-allowed-rows-in-a-microsoft-excel-xls-or-xlsx

Wenn Ihre "1mil" Datensätze eine Unterschätzung von sogar 10% sind, wird dieses Format nicht funktionieren. Wenn Sie versuchen, die Daten auf ein anderes System zu übertragen, möchten Sie vielleicht eine CSV-Datei oder Ähnliches versuchen. Aber wenn PDF eine Ihrer Optionen ist, bin ich mir nicht sicher, was Sie zu tun versuchen.

Dieses Problem beiseite, wählen Sie einige Spalten, die sich wiederholen (z. B. AccountID) und führen Sie den Export (in die CSV) in einer Schleife, einmal für jede AccountID. Dies wird die Verarbeitung in mehr managable Brocken brechen. Sie können dann die CSVs am Ende zusammenfügen, wenn Sie wirklich alle in einer Datei benötigen.

Quelle

2016-04-13 11:53:05

Ich kenne die Grenzen der Excel-Dateien, aber es muss in die Datei geschrieben werden, auch wenn die Datei nicht geöffnet werden kann. Außerdem muss ich alle diese Datensätze in eine PDF-Datei schreiben, aber wenn ich eine Lösung finden kann, um eine XLS-Datei mit mehr als 1mil Recods zu erstellen, dann könnte ich vielleicht eine PDF-Datei auf die gleiche Weise erstellen. In diesem Moment habe ich keine gute Lösung, um auch 1mil-Datensätze in eine Excel-Datei zu schreiben. –

Ist PDF das Endziel und XLS nur ein Schritt in diese Richtung? –

Art von. Ich muss einige Berichte erstellen, ist CSV, Excel und PDF. CSV es funktioniert gut, aber die anderen sind einfach unmöglich. –

Der beste Weg, riesige Sammlung von Datensätzen zu XLS zu speichern

Antwort

Verwandte Themen