Wählen Sie Elemente aus der Liste mit einer Zipf-ähnlichen Auswahl in Python

Question

Ist es möglich, ein Element aus einer Liste mit Python nach der Zipf-Verteilung auszuwählen?

Angenommen, ich habe eine Liste:

objlist = ['Here', 'in', 'the', 'wall', 'why'] 

Bisher habe ich https://docs.scipy.org/doc/numpy/reference/generated/numpy.random.zipf.html gesehen, aber ich kann die Lösung nicht herausgefunden.

Vielen Dank im Voraus.

Answer 1

Verwenden Sie einfach den Ausgang numpy.random.zipf(shape_parameter) als Index für Ihre Liste. Allerdings gibt es das Problem, dass die ZIPF-Distribution nicht gebunden ist und der Wert möglicherweise größer als Ihr Index ist. Setzen Sie es in einen try:except: Block ein.
Wenn Sie Ihren Code mehrmals ausführen, werden verschiedene Werte aus Ihrer Liste gezeichnet. Da die ZIPF-Distribution jedoch nicht gebunden ist und Ihr Listenindex nicht vorhanden ist, wird sie nicht exakt zipf-verteilt.

Saple Code:

objlist = ['Here', 'in', 'the', 'wall', 'why'] 
index = np.random.zipf([1.2, 1.2]) 
for idx in index: 
    if idx < len(objlist): 
     print(objlist[idx]) 
    else: 
     print "Index {} exceed list".format(idx) 

Wikipedia: Zipf Distribution

Answer 2

Ich hoffe, im Ihre Forderungen nicht Missverständnis, hier ist mein Code:

import random 
objlist = ['Here', 'in', 'the', 'wall', 'why'] 
print random.choice(objlist) 

Answer 3

nach Auswahl der tatsächlichen empirischen Zipf Verteilung, Sie benötige zuerst eine Tabelle der Häufigkeiten der englischen Wörter. Wenn die 100.000 häufigsten tun, können Sie eine here bekommen.

Das ist ein pdf ist, ist Text leichter zu handhaben, so dass es zu konvertieren, auf Linux können Sie

pdftotext freq100000.pdf

Dies tun schaffen eine Textdatei freq100000.txt, die Sie mit dem folgenden kleinen Skript verwenden können

import re 
import numpy as np 

record = re.compile('[0-9]+ [0-9]+ [a-z]+') 
data = {} 
for line in open('freq100000.txt'): 
    m = record.match(line.strip()) 
    if not m is None: 
     rank, freq, word = m.group(0).split() 
     data[word] = int(rank), int(freq) 

def rel_freqs(wlist): 
    freqs = np.array([data[word.lower()][1] for word in wlist]) 
    ps = np.add.accumulate(freqs) 
    choice = np.searchsorted(ps, np.random.randint(ps[-1])) 
    return choice 

rel_freqs(['Here', 'in', 'the', 'wall', 'why']) 

Die Funktion rel_freqs wählt nach dem Zufallsprinzip ein Wort aus einer Liste aus und gibt ihren Index zurück. Die Wahrscheinlichkeit, ein Wort zu zeichnen, ist proportional zu seiner Häufigkeit im Englischen.