Wie zähle ich die Anzahl der Zeilen in einer großen CSV-Datei mit Perl?

Question

Ich muss Perl in einer Windows-Umgebung bei der Arbeit verwenden, und ich muss in der Lage sein, die Anzahl der Zeilen, die eine große CSV-Datei enthält (etwa 1,4 GB) zu finden. Irgendeine Idee, wie man das mit minimaler Verschwendung von Ressourcen macht?

Dank

PS Dies muss im Skript Perl getan werden und wir keine neuen Module auf dem System installiert werden dürfen.

Answer 1

Ja, nicht Perl verwenden.

Verwenden Sie stattdessen das einfache Dienstprogramm zum Zählen von Zeilen; wc.exe

Es ist Teil einer Reihe von Fenster Dienstprogramme von Unix-Vorlagen portiert.

http://unxutils.sourceforge.net/

Zum Beispiel;

PS D:\> wc test.pl 
    12  26  271 test.pl 
PS D:\> 

Wobei 12 == Anzahl der Zeilen, 26 == Anzahl der Wörter, 271 == Anzahl der Zeichen.

Wenn Sie wirklich Perl verwenden müssen;

D:\>perl -lne "END{print $.;}" < test.pl 
12 

Answer 2

Meinst du Zeilen oder Zeilen? Eine Zelle kann Zeilenumbrüche enthalten, die der Datei Zeilen hinzufügen, aber keine Zeilen. Wenn Sie sicher sind, dass keine Zellen neue Zeilen enthalten, verwenden Sie einfach die Technik in der Perl FAQ. Andernfalls benötigen Sie einen geeigneten CSV-Parser wie Text::xSV.

Answer 3

Dies liest nur eine Zeile zu einer Zeit, so dass es keinen Speicher verschwendet, wenn jede Zeile enorm lang ist.

Answer 4

Upvote für edgs Antwort, eine andere Option ist cygwin zu installieren, um wc und eine Reihe anderer nützlicher Dienstprogramme unter Windows zu erhalten.

Answer 5

Diese Einzeiler Griffe neue Linien innerhalb der Reihen:

1. Betrachtet man Linien mit einer ungeraden Anzahl von Zitaten.
2. In Anbetracht dieser doppelten Anführungszeichen ist eine Möglichkeit, Anführungszeichen innerhalb des Feldes anzuzeigen.

3. Es verwendet die super Flip-Flop-Operator. Betrachten

   perl -ne 'BEGIN{$re=qr/^[^"]*(?:"[^"]*"[^"]*)*?"[^"]*$/;}END{print"Count: $t\n";}$t++ unless /$re/../$re/' 
   

:

• wc nicht zur Arbeit zu gehen. Es ist großartig für das Zählen von Linien, aber nicht CSV Zeilen
• Sie sollten installieren - oder kämpfen, um zu installieren - Text::CSV oder einige ähnliche Standard-Paket für die ordnungsgemäße Handhabung.
• Das kann Sie trotzdem dorthin bringen.

---

EDIT: Es mir entfallen, dass dieses Fenster war:

perl -ne "BEGIN{$re=qr/^[^\"]*(?:\"[^\"]*\"[^\"]*)*?\"[^\"]*$/;}END{print qq/Count: $t\n/;};$t++ unless $pq and $pq = /$re/../$re/;" 

Das Seltsame ist, dass das Gebrochene O 'Shell && als O bedingte exec interpretiert und I couldn' t tue alles, um seine Meinung zu ändern !! Wenn ich es entkommen würde, würde es nur so in Perl übergehen.

Answer 6

ich idiotisch wurde, die auf einfache Weise in dem Skript zu tun ist:

open $extract, "<${extractFileName}" or die ("Cannot read row count of $extractFileName"); 
$rowCount=0;  
while (<$extract>) 
{ 
    $rowCount=$rowCount+1; 
} 

close($extract);