Unsymmetrische Dataset: Oversampling vs Wiederholen

Question

Ich bin mit einem Machine Learning Aufgabe auf einem hoch unsymmetrischen Datensatz konfrontiert.

Da die kleinste Klasse eine winzige Anzahl von Beispielen hat (so etwas wie zweihundert w.r.t zu den größten, die 200 Tausend ist). Ich muss Oversampling durchführen (um genauer zu sein, würde ich die kleineren Klassen überabgetasten, und die größeren Beispiele auf einen Zwischenwert von Beispielen unterbemessen, aber das ist nicht im Rahmen dieser Frage).

Jetzt habe ich zwei Möglichkeiten, das zu tun:

1) Stichprobe (natürlich mit Ersatz) Beispiele aus der kleinsten Klasse

2) Wiederholen n-mal die Beispiele aus der kleinste Klasse

Irgendwelche Ratschläge, welche ist der beste Weg?

Vielen Dank im Voraus.

Answer 1

Wie Mohammed Athar erwähnt, können Sie einfach versuchen, welche Ihrer Ansätze besser funktioniert.

Zusätzlich könnten Sie versuchen, Ihre "große" Klasse zufällig in (large_class/small_class) aufzuteilen! Dann trainieren Sie einen Klassifikator (wo Sie alle Daten aus der kleinen Klasse und nur einen Teil der großen Klasse haben) für jeden Split, den Sie haben.

Am Ende können Sie alle Ihre Klassifikatoren mit Bagging/Boosting/neural_network/other_model kombinieren.