Pandas Merge Fehler: kann nicht von einer doppelten Achse neuindizieren

Question

Ich fragte vor kurzem eine Frage Merge pandas dataframe on time and another column über das Zusammenführen von Datenrahmen und bekam eine hervorragende, einzeilige Antwort, die perfekt mit meinen Testdaten funktionierte. Allerdings, wenn ich es in meine eigentlichen Daten zu setzen versuchte, bekam ich folgende Fehlermeldung:

cannot reindex from a duplicate axis

Hier ist ein Teil des Codes aus dieser Frage (mit einer geringfügigen Änderung überlappende Zeitstempel zu zeigen):

a = {'date':['1/1/2015 00:00','1/1/2015 00:15','1/1/2015 00:30'], 'num':[1,2,3]} 
b = {'date':['1/1/2015 00:15','1/1/2015 00:30','1/1/2015 00:45'], 'num':[4,5,6]} 

dfa = pd.DataFrame(a) 
dfb = pd.DataFrame(b) 

dfa['date'] = dfa['date'].apply(pd.to_datetime) 
dfb['date'] = dfb['date'].apply(pd.to_datetime) 

und die Lösung:

dfa.set_index('date').combine_first(dfb.set_index('date')).asfreq('15T').reset_index() 

der obige Code (mit einfachen Daten) wirkt wie ein Zauber, aber wenn jemand weiß, was könnte falsch Witz gehen h mein Code in der Produktion, lass es mich wissen. Vielen Dank.

Und ja, es gibt ähnliche Fragen zu SO, aber ich habe keine gefunden, die damit zu tun haben, dass es inhärente Duplikate in den Indizes geben wird und ich möchte, dass der eine den anderen überschreibt.

Answer 1

Problem ist Ihre Daten Duplikate in name in dfa oder dfb (vielleicht beides), können Sie es durch Probe simulieren:

a = {'date':['1/1/2015 00:00','1/1/2015 00:00','1/1/2015 00:30'], 'num':[1,2,3]} 
b = {'date':['1/1/2015 00:15','1/1/2015 00:30','1/1/2015 00:45'], 'num':[4,5,6]} 

dfa = pd.DataFrame(a) 
dfb = pd.DataFrame(b) 

dfa['date'] = pd.to_datetime(dfa['date']) 
dfb['date'] = pd.to_datetime(dfb['date']) 

print (dfa) 
       date num 
0 2015-01-01 00:00:00 1 
1 2015-01-01 00:00:00 2 
2 2015-01-01 00:30:00 3 

Und Lösung ist Duplikate entfernen:

#keep first duplicates, by default 
dfa = dfa.drop_duplicates('date') 
print (dfa) 
       date num 
0 2015-01-01 00:00:00 1 
2 2015-01-01 00:30:00 3 

#keep last duplicates 
dfa = dfa.drop_duplicates('date', keep='last') 
print (dfa) 
       date num 
1 2015-01-01 00:00:00 2 
2 2015-01-01 00:30:00 3