Wie kann ich den Inhalt einer Datei nach dem Zufallsprinzip abtasten?

Question

Ich habe eine Datei mit Inhalt

abc 
def 
high 
lmn 
... 
... 

Es gibt mehr als 2 Millionen Zeilen in den Dateien. Ich möchte Zeilen zufällig aus den Dateien abtasten und 50K Zeilen ausgeben. Irgendwelche Gedanken darüber, wie man dieses Problem angeht? Ich dachte entlang der Linien von Perl und seiner rand Funktion (Oder ein handlicher Shell-Befehl wäre ordentlich).

Verwandte (Möglicherweise Duplizieren) Fragen:

• Randomly Pick Lines From a File Without Slurping It With Unix
• How can I get exactly n random lines from a file with Perl?

Answer 1

Vorausgesetzt, dass Sie im Grunde die Ausgabe etwa 2,5% aller Linien wollen, dies tun würde:

print if 0.025 > rand while <$input>; 

Answer 2

Shell Art und Weise:

sort -R file | head -n 50000 

Answer 3

Wenn Sie eine genaue Anzahl der Linien zu extrahieren:

use strict; 
use warnings; 

# Number of lines to pick and file to pick from 
# Error checking omitted! 
my ($pick, $file) = @ARGV; 

open(my $fh, '<', $file) 
    or die "Can't read file '$file' [$!]\n"; 

# count lines in file 
my ($lines, $buffer); 
while (sysread $fh, $buffer, 4096) { 
    $lines += ($buffer =~ tr/\n//); 
} 

# limit number of lines to pick to number of lines in file 
$pick = $lines if $pick > $lines; 

# build list of N lines to pick, use a hash to prevent picking the 
# same line multiple times 
my %picked; 
for (1 .. $pick) { 
    my $n = int(rand($lines)) + 1; 
    redo if $picked{$n}++ 
} 

# loop over file extracting selected lines 
seek($fh, 0, 0); 
while (<$fh>) { 
    print if $picked{$.}; 
} 
close $fh; 

Answer 4

Perl Art und Weise:

Verwendung CPAN. Es gibt Modul File::RandomLine, das genau das tut, was Sie brauchen.

Answer 5

Von perlfaq5: "How do I select a random line from a file?"

---

Kurz der Datei in eine Datenbank oder Pre-Indizierung der Zeilen in der Datei geladen wird, gibt es ein paar Dinge, die Sie tun können.

Hier ist ein Reservoir Sampling-Algorithmus aus dem Camel Book:

srand; 
rand($.) < 1 && ($line = $_) while <>; 

Dies hat einen bedeutenden Vorteil im Raum über in die gesamte Datei lesen Sie einen Beweis für diese Methode in The Art of Computer finden können. Programmierung, Band 2, Abschnitt 3.4.2, von Donald E. Knuth.

Sie können die Datei verwenden :: Zufalls-Modul, das für diesen Algorithmus eine Funktion bereitstellt:

use File::Random qw/random_line/; 
my $line = random_line($filename); 

Ein anderer Weg ist die Tie :: File-Modul zu verwenden, die die gesamte Datei als Array behandelt. Greifen Sie einfach auf ein zufälliges Array-Element zu.