Schreibtests für stochastische Funktionen

Question

Ich schreibe ein Paket für das Experimentieren mit evolutionären Algorithmen, und es versteht sich von selbst, dass es viele stochastische Methoden beinhaltet. Nun möchte ich einige (doc) Tests für dieses Paket schreiben, damit ich überprüfen kann, ob alles funktioniert, aber ich stoße in Situationen, in denen der Test "meistens" wahr sein sollte. Es fühlt sich an, als ob ich mich dem wahrscheinlich in die falsche Richtung nähern würde, aber ich würde trotzdem gerne einige deiner Gedanken dazu hören.

Zum Beispiel, ich habe so etwas in meinem Doctests:

>>> a = Genome() 
>>> b = Genome() 
>>> a.mutate() 
>>> a != b 
True # Well, most of the time. 

Implementierung von Tests wie das würde bedeuten, dass der Test wird manchmal fehlschlagen, während alles funktioniert.

Ich lese den Vorschlag, die RNG Samen zu beheben, bevor Tests zu tun, aber dann würde ich dafür sorgen, dass alles funktioniert vor ich den Test schreiben kann, da der Test das erwartete Ergebnis enthalten soll.

Answer 1

Sie könnten die Wahrscheinlichkeit, dass es vernachlässigbar ausfällt, z.B.

a = Genome() 
genomes = [] 
for i in range(100): 
    b = Genome() 
    b.mutate() 
    genomes.append(b) 
assert any(a != b for b in genomes) 

Wenn Ihr ursprünglicher Test die meiste Zeit erfolgreich war, wird dieser immer für alle praktischen Zwecke erfolgreich sein.

Dieser Test könnte auch angemessene Grenzen für die Anzahl der Genome festlegen, die übereinstimmen dürfen.

Der Test liest sich weniger schön als das Original. Vielleicht ist die Verwendung von Doctests hier der falsche Ansatz, und Sie sollten separate Komponententests schreiben.