Lesen von N Prozent der Zeilen aus der CSV-Datei und Schreiben in eine andere Datei

Question

Ich habe eine CSV-Datei mit etwa 5000 Zeilen Daten. Ich möchte ungefähr 10% der Daten lesen (z. B. 50 Zeilen).

zum Beispiel: lässt sagen, dass ich eine CSV-Datei mit 1000 Zeilen Daten habe. Was ich tun muss, ist einen Prozentsatz der Daten (sagen wir 10%, dh 10 Zeilen) zu nehmen und in eine andere CSV-Datei ohne Datenrahmen zu legen, dh ohne die Daten in den Speicher zu legen, direkt in die zweite CSV-Datei . Hoffe, das sagt dir, was ich brauche.

Answer 1

Sorry, ich kann es nicht in python codieren, aber das Prinzip ist, wie Sie jede Zeile der CSV lesen, eine Zufallszahl zwischen [1..100] generieren, und wenn es größer als 90 ist, schreiben Sie die Linie zu Ihrer Ausgabedatei.

Dieser Ansatz hat den Vorteil, dass nur jeweils eine Zeile in den Speicher geladen werden muss.

Ich tat es in awkhere.

Answer 2

Sie können nicht sagen, wie viele Zeilen es in Ihrer Datei gibt, ohne es zuerst zu lesen. Sie können das nur, wenn Sie Ihre Dateigröße kennen und alle Zeilen eine feste Länge haben, was bei verschiedenen Daten eher zweifelhaft ist. Wenn Sie andererseits wissen, wie viele Zeilen sich in Ihrer Datei befinden, können Sie einfach zwei Dateien öffnen, eine zum Lesen und eine weitere zum Schreiben und Lesen und Schreiben der benötigten Zeilen in einer for-Schleife. Sie benötigen dazu keine Pandas, z. B .:

linecount = 10 
with open('1.csv', 'r') as f, open('out.csv', 'w') as o:   
    while linecount > 0: 
     o.write(f.readline()) 
     linecount -= 1