2016-03-29 9 views
0

Ich weiß nicht, ob dies der richtige Ort ist, um meine Frage zu stellen, vielleicht sollte ich es eine andere Gemeinschaft tun, aber ich habe eine Frage bezüglich der Implementierung einer Website, die eine große CSV-Datei behandelt als Eingabe.Verwenden einer großen CSV-Datei als Eingabe für eine Website

Ich bin bereit, eine Website mit einer CSV-Datei als Eingabe zu programmieren, um alle Arten von Daten auf meiner Website zu generieren. Denken Sie an jeden Eintrag hat seine eigenen geolocations etc. Am Ende möchte ich eine informative Website erstellen, wo die Daten der CSV-Datei verwendet wird.

Jetzt möchte ich wissen, welcher Ansatz der beste sein könnte, dies zu tun. Ich kann mir vorstellen, dass das Speichern dieser CSV-Datei in einer Datenbank und das Abrufen von Daten mit PHP aufgrund der langen Ladezeit, wenn die Website einen Anruf ausführt, ewig dauern kann. Kann mir jemand sagen, welcher Ansatz bei der Arbeit mit solch einer großen CSV-Datei funktionieren könnte?

Um Ihnen eine Idee zu geben. In meiner CSV-Datei habe ich die folgenden Daten:

 
#, Soccer Club, Street adress, Highest competition,.. 
1, Soccer club 1, adress 123, 3th division,.. 
2, Soccer club 2, adress 456, 6th division,.. 
etc. 

Jetzt möchte ich eine webste erstellen, die diese Daten verwenden und alle Arten von Markierungspunkten auf einer Karte erstellen. Ich weiß, wie man das programmiert, das einzige Problem ist, dass ich nach einer schnellen Weise des Lesens und der Verwendung der Daten suche, ohne dass meine Website eine lange Zeit hat, um diese Information zu erzeugen. Ich habe es noch nicht versucht, aber bevor ich zu viel Zeit darauf verbrachte, fragte ich mich, welchen Ratschlag Sie mir geben könnten?

Denken BTW von CSV-Dateien von der Größe von 1 GB/2GB

+0

Der Datenbankzugriff ist immer besser/schneller als Datei-E/A, insbesondere bei großen Datensätzen. –

+0

und Sie können nicht 1GB/2GB Daten auf einmal verarbeiten –

+0

@MineshPatel Sie können, wenn Sie viele Ressourcen haben. – Justinas

Antwort

-1

Ich schlage vor, würden Sie die CSV in einer Datenbanktabelle zu importieren, um die gesamte Datei nicht speichern, wie es ist und dann Abfragen darauf laufen. Datenbanken sind optimiert und für diese Dinge gedacht.

+0

Ich sehe, Sie haben nie 2Gb-Datei verarbeitet ... – Justinas

+0

Ich habe größere Dateien verarbeitet. Mit richtigen Indizes können Ihre Abfragen schnell sein. –

+0

Das Problem liest nicht aus der Datenbank, sondern die Datei selbst wird verarbeitet. – Justinas

Verwandte Themen