2017-08-25 1 views
1

Ich habe zwei Datenrahmen df & df2, und ich möchte sie mit * als PlatzhalterWie pandas Datenrahmen basierend auf Wildcards zu verbinden?

import pandas as pd 
data = [[".",".",1],["AB.","B.",3],["B.",".",2]] 
data2 = [["A","B","1"],["ABC","BC",4],["B","A",2]] 
columns = ["Type1","Type2","Value"] 
df = pd.DataFrame(data,columns=columns) 
df2 = pd.DataFrame(data2,columns=columns) 
print(df) 
print(df2) 
    Type1 Type2 Value 
0  *  *  1 
1 AB* B*  3 
2 B*  *  2 
    Type1 Type2 Value 
0  A  B  1 
1 ABC BC  4 
2  B  A  2 

Typischerweise ist die zweite Linie von DF2 hier verschmelzen sollte mit der Linie 1 und Linie 2 Die Zeile 0 in df2 entsprechen sollte Nur die erste Zeile von DF1 übereinstimmen. Irgendwie würde Ich mag so etwas wie

df2.merge(df,how='left',on=["Type1","Type2"]) 

Aber das Ergebnis hier bekommen ist nicht alles passen.

Dies ist das Ergebnis, das ich gerne bekommen würde.

data3 = [["A","B","1","1"],["ABC","BC",4,1],["ABC","BC",4,3],["B","A",2,1],["B","A",2,2]] 
columns3 = ["Type1","Type2","Value_x","Value_y"] 
results = pd.DataFrame(data3,columns=columns3) 
print(results) 
    Type1 Type2 Value_x Value_y 
0  A  B  1  1 
1 ABC BC  4  1 
2 ABC BC  4  3 
3  B  A  2  1 
4  B  A  2  2 

Bitte beachten Sie, dass die df2 Tabelle mehr als 1 Million Zeilen tatsächlich hat, damit ich nicht leisten kann, eine Schleife aus Effizienzgründen zu tun.

+0

Was ist Ihr erwartetes Ergebnis? – Alexander

+0

Ok ich habe es einfach gemacht :) – Nicolas

Antwort

0

Schließlich entschied ich mich, den folgenden Code zu verwenden. Dies überträgt den Datenrahmen in eine SQLite-Datenbank, führt dann den Join durch und bringt ihn schließlich zu einem anderen Datenrahmen zurück. Dies ist nicht optimal, aber es funktioniert.

import sqlite3 
conn = sqlite3.connect(':memory:') 
df.to_sql('df', conn, index=False) 
df2.to_sql('df2', conn, index=False) 
query = """ 
SELECT [df2].[Type1], 
     [df2].[Type2], 
     [df2].[value], 
     [df].[value] 
FROM ([df] 
     LEFT OUTER JOIN [df2] 
        ON [df].[type1] LIKE [df2].[type1] 
        AND [df].[type2] LIKE [df2].[type2]) 
""" 
df3 = pd.read_sql_query(query, conn) 
conn.close() 
Verwandte Themen