Abtastung eines Datenrahmens basierend auf einer gegebenen Verteilung

Question

Wie kann ich einen Pandas-Datenrahmen oder Graphlab-Sframe basierend auf einer gegebenen Klasse \ Label-Verteilungswerte abfragen, zB: Ich möchte einen Datenrahmen mit einer label \ class-Spalte abtasten, um solche Zeilen auszuwählen jedes Klassenetikett wird gleichermaßen abgerufen, wodurch es für jedes Klassenetikett, das einer gleichmäßigen Verteilung von Klassenetiketten entspricht, eine ähnliche Häufigkeit aufweist. Oder am besten wäre es, Samples entsprechend der gewünschten Klassenverteilung zu erhalten.

 
+------+-------+-------+ 
| col1 | clol2 | class | 
+------+-------+-------+ 
| 4 | 45 | A  | 
+------+-------+-------+ 
| 5 | 66 | B  | 
+------+-------+-------+ 
| 5 | 6  | C  | 
+------+-------+-------+ 
| 4 | 6  | C  | 
+------+-------+-------+ 
| 321 | 1  | A  | 
+------+-------+-------+ 
| 32 | 432 | B  | 
+------+-------+-------+ 
| 5 | 3  | B  | 
+------+-------+-------+ 

given a huge dataframe like above and the required frequency distribution like below: 
+-------+--------------+ 
| class | nostoextract | 
+-------+--------------+ 
| A  | 2   | 
+-------+--------------+ 
| B  | 2   | 
+-------+--------------+ 
| C  | 2   | 
+-------+--------------+ 

Die oben sollten Zeilen aus dem ersten Datenrahmen auf der gegebene Häufigkeitsverteilung in dem zweiten Rahmen, wo die Frequenz Zählwerte sind in nostoextract Spalt basierend extrahieren einen abgetastetes Rahmen zu geben, wo jede Klasse bei max 2 mal erscheint. sollte ignoriert und fortgesetzt werden, wenn nicht genügend Klassen gefunden werden können, um die erforderliche Anzahl zu erreichen. Der resultierende Datenrahmen soll für einen Entscheidungsbaum-basierten Klassifikator verwendet werden.

Wie ein Kommentator setzt es das Sampling-Datenframe muss nostextract verschiedene Instanzen der entsprechenden Klasse enthalten? Es sei denn, es gibt nicht genug Beispiele für eine bestimmte Klasse, in diesem Fall nehmen Sie einfach alle verfügbaren.

Answer 1

Ich denke, das Ihr Problem lösen:

import pandas as pd 

data = pd.DataFrame({'cols1':[4, 5, 5, 4, 321, 32, 5], 
        'clol2':[45, 66, 6, 6, 1, 432, 3], 
        'class':['A', 'B', 'C', 'C', 'A', 'B', 'B']}) 

freq = pd.DataFrame({'class':['A', 'B', 'C'], 
        'nostoextract':[2, 2, 2], }) 

def bootstrap(data, freq): 
    freq = freq.set_index('class') 

    # This function will be applied on each group of instances of the same 
    # class in `data`. 
    def sampleClass(classgroup): 
     cls = classgroup['class'].iloc[0] 
     nDesired = freq.nostoextract[cls] 
     nRows = len(classgroup) 

     nSamples = min(nRows, nDesired) 
     return classgroup.sample(nSamples) 

    samples = data.groupby('class').apply(sampleClass) 

    # If you want a new index with ascending values 
    # samples.index = range(len(samples)) 

    # If you want an index which is equal to the row in `data` where the sample 
    # came from 
    samples.index = samples.index.get_level_values(1) 

    # If you don't change it then you'll have a multiindex with level 0 
    # being the class and level 1 being the row in `data` where 
    # the sample came from. 

    return samples 

print(bootstrap(data,freq)) 

Drucke:

class clol2 cols1 
0  A  45  4 
4  A  1 321 
1  B  66  5 
5  B 432  32 
3  C  6  4 
2  C  6  5 

Wenn Sie das Ergebnis nicht wollen nach Klassen geordnet werden, können Sie es am Ende permute kann.

Answer 2

Können Sie Ihren ersten Datenrahmen in klassenspezifische Subdatenrahmen aufteilen und dann nach Belieben aus diesen Daten filtern?

dh

dfa = df[df['class']=='A'] 
dfb = df[df['class']=='B'] 
dfc = df[df['class']=='C'] 
.... 

Dann, sobald Sie haben Split/erstellt/auf DFA gefiltert, dfb, DFC, eine Reihe von oben holen wie gewünscht (wenn Datenrahmen haben kein bestimmtes Art-Muster)

dfasamplefive = dfa[:5] 

oder die Probenmethode verwenden, wie durch einen vorhergehenden Kommentator beschrieben, um direkt eine Stichprobe zu nehmen:

dfasamplefive = dfa.sample(n=5) 

Wenn dies Ihren Anforderungen entspricht, müssen Sie nur noch den Prozess automatisieren, indem Sie die Anzahl der zu prüfenden Daten aus dem Steuerdatenrahmen als zweiten Datenrahmen eingeben, der die gewünschte Anzahl an Proben enthält.

Answer 3

Hier ist eine Lösung für SFrames. Es ist nicht genau was Sie wollen, weil es Punkte nach dem Zufallsprinzip abfragt, so dass die Ergebnisse nicht unbedingt genau die Anzahl der Zeilen haben, die Sie angeben. Eine genaue Methode würde wahrscheinlich die Daten zufällig mischen und dann die ersten k Reihen für eine bestimmte Klasse nehmen, aber das bringt Sie verdammt nah.

import random 
import graphlab as gl 

## Construct data. 
sf = gl.SFrame({'col1': [4, 5, 5, 4, 321, 32, 5], 
       'col2': [45, 66, 6, 6, 1, 432, 3], 
       'class': ['A', 'B', 'C', 'C', 'A', 'B', 'B']}) 

freq = gl.SFrame({'class': ['A', 'B', 'C'], 
        'number': [3, 1, 0]}) 

## Count how many instances of each class and compute a sampling 
# probability. 
grp = sf.groupby('class', gl.aggregate.COUNT) 
freq = freq.join(grp, on ='class', how='left') 
freq['prob'] = freq.apply(lambda x: float(x['number'])/x['Count']) 

## Join the sampling probability back to the original data. 
sf = sf.join(freq[['class', 'prob']], on='class', how='left') 

## Sample the original data, then subset. 
sf['sample_mask'] = sf.apply(lambda x: 1 if random.random() <= x['prob'] 
          else 0) 
sf2 = sf[sf['sample_mask'] == 1] 

In meinem Probelauf, ich zufällig die genaue Anzahl der Proben, die ich angegeben, aber auch dies ist nicht garantiert mit dieser Lösung zu erhalten.

>>> sf2 
+-------+------+------+ 
| class | col1 | col2 | 
+-------+------+------+ 
| A | 4 | 45 | 
| A | 321 | 1 | 
| B | 32 | 432 | 
+-------+------+------+