Bedingtes Entfernen von Duplikaten pandas python

Question

Gibt es eine Möglichkeit, Duplikate (mit drop_duplicates speziell) in einem Pandas-Dataframe mit etwa 10 Spalten und 400.000 Zeilen zu löschen? Das heißt, ich möchte, dass alle Zeilen, die zwei Spalten enthalten, eine Bedingung erfüllen: Wenn die Kombination aus Datum (Spalte) und Speicher (Spalte) # eindeutig ist, behalten Sie die Zeile, andernfalls, ab.

Answer 1

Verwenden drop_duplicates Datenrahmen mit doppelten Zeilen entfernt zurückzukehren, wahlweise nur bestimmte Spalten

Lassen anfängliche Datenrahmen wie

In [34]: df 
Out[34]: 
    Col1 Col2 Col3 
0 A B 10 
1 A B 20 
2 A C 20 
3 C B 20 
4 A B 20 

eine Überlegung Wenn Sie einzigartige Kombinationen aus bestimmten Spalten 'Col1', 'Col2'

In [35]: df.drop_duplicates(['Col1', 'Col2']) 
Out[35]: 
    Col1 Col2 Col3 
0 A B 10 
2 A C 20 
3 C B 20 

nehmen wollen

Wenn Sie eindeutige Kombinationen aller Spalten

nehmen möchten

In [36]: df.drop_duplicates() 
Out[36]: 
    Col1 Col2 Col3 
0 A B 10 
1 A B 20 
2 A C 20 
3 C B 20