Mischen Sie nach dem Zufallsprinzip Linien von 3 Millionen Zeilen Datei

Question

Alles ist im Titel. Ich frage mich, ob jemand einen schnellen und vernünftigen Speicherbedarf kennt, um alle Zeilen einer 3 Millionen Zeilen Datei zufällig zu mischen. Ich denke, es ist nicht möglich mit einem einfachen vim-Befehl, also ein einfaches Skript mit Python. Ich habe mit Python versucht, indem ich einen Zufallszahlengenerator benutzt habe, aber es ist mir nicht gelungen, einen einfachen Ausweg zu finden.

Answer 1

import random 
with open('the_file','r') as source: 
    data = [ (random.random(), line) for line in source ] 
data.sort() 
with open('another_file','w') as target: 
    for _, line in data: 
     target.write(line) 

Das sollte es tun. 3 Millionen Zeilen passen in den Speicher der meisten Maschinen, es sei denn, die Zeilen sind RIESIG (über 512 Zeichen).

Answer 2

dauert nur wenige Sekunden in Python:

>>> import random 
>>> lines = open('3mil.txt').readlines() 
>>> random.shuffle(lines) 
>>> open('3mil.txt', 'w').writelines(lines) 

Answer 3

Auf vielen Systemen der sort Shell-Befehl nimmt -R seinen Eingang randomisieren.

Answer 4

Hier ist eine andere Version

Bei der Shell, verwenden Sie diese.

python decorate.py | sort | python undecorate.py 

decorate.py

import sys 
import random 
for line in sys.stdin: 
    sys.stdout.write("{0}|{1}".format(random.random(), line)) 

undecorate.py

import sys 
for line in sys.stdin: 
    _, _, data= line.partition("|") 
    sys.stdout.write(line) 

Verwendet fast kein Gedächtnis.

Answer 5

Dies ist die gleiche wie Herr Kugelman der ist, aber die Verwendung von vim Python-Schnittstelle Built-in:

:py import vim, random as r; cb = vim.current.buffer ; l = cb[:] ; r.shuffle(l) ; cb[:] = l 

Answer 6

Wenn Sie alles in den Speicher zu tun laden nicht wollen und es dort zu sortieren, Sie haben um die Zeilen auf der Festplatte zu speichern, während sie zufällig sortiert werden. Das wird sehr langsam sein.

Hier ist eine sehr einfache, dumme und langsame Version. Beachten Sie, dass dies eine überraschend große Menge Speicherplatz beanspruchen kann und sehr langsam ist. Ich habe es mit 300.000 Zeilen ausgeführt und es dauert einige Minuten. 3 Millionen Zeilen könnten sehr gut eine Stunde dauern. Also: Mach es in Erinnerung. Ja wirklich. Es ist nicht so groß.

import os 
import tempfile 
import shutil 
import random 
tempdir = tempfile.mkdtemp() 
print tempdir 

files = [] 
# Split the lines: 
with open('/tmp/sorted.txt', 'rt') as infile: 
    counter = 0  
    for line in infile: 
     outfilename = os.path.join(tempdir, '%09i.txt' % counter) 
     with open(outfilename, 'wt') as outfile: 
      outfile.write(line) 
     counter += 1 
     files.append(outfilename) 

with open('/tmp/random.txt', 'wt') as outfile: 
    while files: 
     index = random.randint(0, len(files) - 1) 
     filename = files.pop(index) 
     outfile.write(open(filename, 'rt').read()) 

shutil.rmtree(tempdir) 

Eine andere Version wäre die Dateien in einer SQLite-Datenbank zu speichern und die Linien zufällig aus der Datenbank ziehen. Das wird wahrscheinlich schneller sein.

Answer 7

Ich habe gerade versucht, dies auf eine Datei mit 4,3 Millionen Zeilen und das schnellste Ding war 'Shuf' Befehl unter Linux. Verwenden Sie es so:

Es dauerte 2-3 Sekunden, um zu beenden.

Answer 8

Hier ist eine andere Art und Weise random.choice verwenden, dies auch entlasten einige graduelle Speicher bereitstellen kann, aber mit einer schlechteren Big-O :)

from random import choice 

with open('data.txt', 'r') as r: 
    lines = r.readlines() 

with open('shuffled_data.txt', 'w') as w: 
    while lines: 
     l = choice(lines) 
     lines.remove(l) 
     w.write(l) 

Answer 9

Folgende Vimscript verwendet werden können Linien tauschen:

sehen

function! Random()              
    let nswaps = 100              
    let firstline = 1              
    let lastline = 10              
    let i = 0                
    while i <= nswaps              
    exe "let line = system('shuf -i ".firstline."-".lastline." -n 1')[:-2]" 
    exe line.'d'               
    exe "let line = system('shuf -i ".firstline."-".lastline." -n 1')[:-2]" 
    exe "normal! " . line . 'Gp'           
    let i += 1               
    endwhile                
endfunction 

die Funktion im visuellen Modus auswählen und :@" dann führen Sie es mit :call Random()