Wie erzeuge ich ein Histogramm für eine gegebene Wahrscheinlichkeitsverteilung (für den Funktionstest eines Servers)?

Question

Ich versuche, Funktionstests eines Servers mit einer realistischen Häufigkeitsverteilung von Anfragen zu automatisieren. (Art von Lasttests, eine Art Simulation)

IIIIIIVV die Weibull Verteilung, wie es „Art“ entspricht die Verteilung ich beobachtet habe (Rampen schnell, fällt schnell ab, aber nicht sofort)

ich benutze diese Verteilung die Anzahl der Anfragen zu generieren, die jeden Tag zwischen einem bestimmten Start- und Enddatum

gesendet werden sollen

ich zusammen diese Art von Arbeiten einem Algorithmus in Python gehackt habe, aber es fühlt sich kludgy:

how_many_days = (end_date - start_date).days 
freqs = defaultdict(int) 
for x in xrange(how_many_responses): 
    freqs[int(how_many_days * weibullvariate(0.5, 2))] += 1 
timeline = [] 
day = start_date 
for i,freq in sorted(freqs.iteritems()): 
    timeline.append((day, freq)) 
    day += timedelta(days=1) 
return timeline 

Welche besseren Möglichkeiten gibt es, dies zu tun?

Answer 1

Das ist schnell und wahrscheinlich nicht so genau, aber wenn Sie das PDF selbst berechnen, machen Sie es zumindest einfacher, mehrere kleinere/größere auf einer einzigen Timeline zu legen. dev ist die Standardabweichung im Guassian-Rauschen, die die Rauheit steuert. Beachten Sie, dass dies nicht die 'richtige' Möglichkeit ist zu generieren, was Sie wollen, aber es ist einfach.

import math 
from datetime import datetime, timedelta, date 
from random import gauss 

how_many_responses = 1000 
start_date = date(2008, 5, 1) 
end_date = date(2008, 6, 1) 
num_days = (end_date - start_date).days + 1 
timeline = [start_date + timedelta(i) for i in xrange(num_days)] 

def weibull(x, k, l): 
    return (k/l) * (x/l)**(k-1) * math.e**(-(x/l)**k) 

dev = 0.1 
samples = [i * 1.25/(num_days-1) for i in range(num_days)] 
probs = [weibull(i, 2, 0.5) for i in samples] 
noise = [gauss(0, dev) for i in samples] 
simdata = [max(0., e + n) for (e, n) in zip(probs, noise)] 
events = [int(p * (how_many_responses/sum(probs))) for p in simdata] 

histogram = zip(timeline, events) 

print '\n'.join((d.strftime('%Y-%m-%d ') + "*" * c) for d,c in histogram) 

Answer 2

Warum Sie The Grinder 3 zu laden testen Sie Ihren Server nicht versuchen, es mit all dies kommt und mehr vorkompilierte und unterstützt Python als Skriptsprache

Answer 3

Statt die Anzahl der Anfragen als festen Wert des Gebens, warum nicht stattdessen einen Skalierungsfaktor verwenden? Im Moment behandeln Sie Anfragen als eine begrenzte Menge und randomisieren die Tage, an denen diese Anfragen fallen. Es erscheint vernünftiger, Ihre Anfragen pro Tag als unabhängig zu behandeln.

from datetime import * 
from random import * 

timeline = [] 
scaling = 10 
start_date = date(2008, 5, 1) 
end_date = date(2008, 6, 1) 

num_days = (end_date - start_date).days + 1 
days = [start_date + timedelta(i) for i in range(num_days)] 
requests = [int(scaling * weibullvariate(0.5, 2)) for i in range(num_days)] 
timeline = zip(days, requests) 
timeline 

Answer 4

schrieb ich den Code oben kürzer (aber vielleicht jetzt auch verschleierten es?)

timeline = (start_date + timedelta(days=days) for days in count(0)) 
how_many_days = (end_date - start_date).days 
pick_a_day = lambda _:int(how_many_days * weibullvariate(0.5, 2)) 
days = sorted(imap(pick_a_day, xrange(how_many_responses))) 
histogram = zip(timeline, (len(list(responses)) for day, responses in groupby(days))) 
print '\n'.join((d.strftime('%Y-%m-%d ') + "*" * c) for d,c in histogram) 

Answer 5

Etwas länger, aber wahrscheinlich besser lesbar Nacharbeit Ihrer letzten vier Zeilen:

samples = [0 for i in xrange(how_many_days + 1)] 
for s in xrange(how_many_responses): 
    samples[min(int(how_many_days * weibullvariate(0.5, 2)), how_many_days)] += 1 
histogram = zip(timeline, samples) 
print '\n'.join((d.strftime('%Y-%m-%d ') + "*" * c) for d,c in histogram) 

Dadurch werden die Samples immer innerhalb des Datumsbereichs abgelegt. Sie erhalten jedoch einen entsprechenden Bump am Ende der Timeline von allen Samples, die über dem [0, 1] -Bereich liegen.

Answer 6

Eine andere Lösung ist Rpy zu verwenden, die die gesamte Leistung von R (darunter viele Werkzeuge für die Distributionen), leicht in Python setzt.