Textdatei in Perl Wort für Wort statt Zeile für Zeile lesen

Question

Ich habe eine große (300 kB) Textdatei, die durch Leerzeichen begrenzte Wörter enthält. Jetzt möchte ich diese Datei öffnen und jedes Wort einzeln verarbeiten.

Das Problem ist, dass Perl liest die Datei Zeile für Zeile (d. H.) Die gesamte Datei auf einmal, die mir seltsame Ergebnisse gibt. Ich weiß, der normale Weg ist, etwas zu tun wie

open($inFile, 'tagged.txt') or die $!; 
$_ = <$inFile>; 
@splitted = split(' ',$_); 
print $#splitted; 

Aber das gibt mir eine fehlerhafte Wortzahl (zu große Array?).

Ist es möglich, die Textdatei Wort für Wort zu lesen?

Answer 1

Um die Datei zu einem Wort zu einem Zeitpunkt zu lesen, zu einem Raum, den Eingabedatensatz-Trenn ($/) ändern:

local $/ = ' '; 

Beispiel:

#!/usr/bin/perl 
use strict; 
use warnings; 

use feature 'say'; 

{ 
    local $/ = ' '; 

    while (<DATA>) { 
     say; 
    } 
} 

__DATA__ 
one two three four five 

Output:

one 
two 
three 
four 
five 

Answer 2

Anstatt es auf einen Schlag zu lesen, versuchen Sie es mit der Zeile-für-Zeile-Methode, die die Speicherauslastung Ihrer Maschine ebenfalls erleichtert (obwohl 300 KB für moderne Computer nicht zu groß ist).

use strict; 
use warnings; 

my @words; 
open (my $inFile, '<', 'tagged.txt') or die $!; 

while (<$inFile>) { 
    chomp; 
    @words = split(' '); 
    foreach my $word (@words) { # process } 
} 

close ($inFile); 

Answer 3

Es ist unklar, was yo Eine Eingabedatei sieht so aus, aber Sie meinen, dass sie nur eine einzige Zeile enthält, die aus vielen "Wörtern" besteht.

300 KB ist weit entfernt von einer "große Textdatei". Sie sollten es in seiner Gesamtheit lesen und die Wörter von dort eins nach dem anderen ziehen. Dieses Programm demonstriert

use strict; 
use warnings; 

my $data = do { 
    open my $fh, '<', 'data.txt' or die $!; 
    local $/; 
    <$fh>; 
}; 

my $count = 0; 
while ($data =~ /(\S+)/g) { 
    my $word = $1; 
    ++$count; 
    printf "%2d: %s\n", $count, $word; 
} 

Ausgang

1: alpha 
2: beta 
3: gamma 
4: delta 
5: epsilon 

Ohne weitere Erklärung, was ein „fehlerhafte Wortzahl“ könnte sein, es ist sehr schwer zu helfen, aber es ist sicher, dass das Problem isn t wegen der Größe deines Arrays: Wenn dort ein Problem war, würde Perl eine Ausnahme auslösen und sterben.

Aber wenn Sie das Ergebnis mit der Statistik von einem Textverarbeitungsprogramm vergleichen, dann ist es wahrscheinlich, weil die Definition von "Wort" ist anders. Zum Beispiel kann das Textverarbeitungsprogramm ein Wort mit Bindestrich als zwei Wörter betrachten.

Answer 4

300K scheint nicht groß zu sein, so können Sie versuchen:

my $text=`cat t.txt` or die $!; 
my @words = split /\s+/, $text; 
foreach my $word (@words) { # process } 

oder leicht modifizierte Lösung von squiguy

use strict; 
use warnings; 

my @words; 
open (my $inFile, '<', 'tagged.txt') or die $!; 

while (<$inFile>) { 
    push(@words,split /\s+/); 
} 
close ($inFile); 
foreach my $word (@words) { # process }