Invert die zufällige Auswahl der Schlüssel in einem Array numpy

Question

Ich habe eine riesige np.array genannt arr mit N-Werte und 10% dieser Werte wählen zufällig von:

choice=random.sample(range(N), int(N*percent)) # percent has values 0-1 
newarr=arr[choice] 

N über 2 Millionen Werte sein könnte.

Eigentlich brauche ich auch ein Array mit den anderen 90% der Werte. Also im Moment habe ich die folgende verwenden, die sehr langsam ist:

def buildRevChoice(choice, nevents): 
     revChoice=[] 
     for i in range(N): 
      if not i in choice: 
       revChoice.append(i) 
     return revChoice 

Können Sie sich eine Methode, dies zu zumachen?

Answer 1

Sie können nur random.shuffle die Liste, dann teilen Sie es, wie Sie möchten.

Und Sie erhalten Ihre zwei Listen, die erste enthält die ausgewählten und die zweite enthält den Rest.

Answer 2

Wenn Sie mit dem Speicheraufwand eines Maskenarrays zufrieden sind, scheint dies schneller zu sein als die Auswahl der anderen Werte nach Index und behält die Reihenfolge der Elemente in are bei. Hier ist, was ich mit Timings von IPython Notebook bekam:

N = 2000000 
arr = random.random(N) 
percent = 0.10 

Meine Lösung:

%% timeit 
choice = random.choice(N, N*percent) 
mask = zeros_like(arr, bool) 
mask[choice] = True 
newarr = arr[mask] 
revchoice = arr[~mask] 

10 Schlaufen, am besten von 3: 18,1 ms pro Schleife

0605002 Lösung:

tmp = range(N) 
random.shuffle(tmp) 
cut = int(N * percent) 
newarr, revchoice = tmp[:cut], tmp[cut:] 

1 Schleifen, am besten 3: 603 ms pro Schleife