So extrahieren Elternknoten und nachfolgende Knoten aus Datenframe

Question

Ich versuche, das folgende Problem zu lösen. Es gibt einen Datenrahmen df:

df = 

ID GROUP_1 GROUP_2 GROUP_3 GROUP_4 
1 AAA  AAA  BBB  CCC 
2 CCC  AAA  CCC  BBB 
3 DDD  CCC  BBB  CCC 
4 ... 

Ich brauche alle Sequenzen von Gruppen zu extrahieren und sie zählen. Die Ausgabe sollte diese sein (in eckigen Klammern ich alle möglichen nachfolgenden Knoten für den gegebenen Elternknoten haben wollen):

result = 
AAA, 3, [AAA,BBB,CCC] 
BBB, 2, [CCC] 
CCC, 3, [AAA,BBB] 
DDD, 1, [CCC] 

Ich weiß, wie die Anzahl der eindeutigen Vorkommen von Gruppen zu zählen wie folgt:

df.filter(regex="^GROUP").stack().reset_index(level=1, drop=True).reset_index().drop_duplicates()[0].value_counts() 

Es gibt die Ausgabe wie diese:

AAA 2 
BBB 3 
CCC 3 
DDD 1 

aber ich weiß nicht, wie alle möglichen nachfolgenden Knoten ohne Duplikate zu extrahieren und alle Vorkommen dieser Paare zählen (einschließlich Duplikate).

Answer 1

Eine weitere Option hier:

# melt data frame to long format 
long_df = pd.melt(df, id_vars = "ID", value_name="First") 

# create a shifted subsequent nodes column 
(long_df.assign(Second = long_df.groupby("ID").First.shift(-1)) 

# aggregation grouped by the first column 
.groupby('First').Second 
.agg({'Count': 'count', 'Second': lambda x: x.dropna().unique().tolist()})) 

---

variantions für mit fehlenden Werten zu tun:

Variation 1:

dropna() nach der verschobenen Spalte zu schaffen, wird dies jedes Paar fällt die nan enthält:

(long_df.assign(Second = long_df.groupby("ID").First.shift(-1)).dropna() 
.groupby('First').Second 
.agg({'Count': 'count', 'Second': lambda x: x.unique().tolist()})) 

Variation 2:

Tropfen fehlende Werte im Langformat-Datenrahmen vor der verschobenen Spalte zu schaffen, wird dies die nicht fehlenden Werte verbinden Recht vor Wert mit dem man nach dem fehlenden Wert fehlt:

(long_df.dropna().assign(Second = long_df.groupby("ID").First.shift(-1)) 
.groupby('First').Second 
.agg({'Count': 'count', 'Second': lambda x: x.unique().tolist()})) 

Answer 2

Erhalten Sie alle möglichen Werte

>>> df.set_index('ID').stack().reset_index(drop=True) 
0  AAA 
1  AAA 
2  BBB 
3  CCC 
4  CCC 
5  AAA 
6  CCC 
7  BBB 
8  DDD 
9  CCC 
10 BBB 
11 CCC 

alle nachfolgenden Werte pandas.DataFrame.shift mit Get:

>>> df3 = pd.concat([df2, df2.shift(-1)], axis=1) 
>>> df3.columns = ['k', 'v'] 
>>> df3 = df3[df3['v'].notnull()] 
>>> df3 = df3.drop_duplicates() 
>>> df3 
    k v 
0 AAA AAA 
1 AAA BBB 
2 BBB CCC 
3 CCC CCC 
4 CCC AAA 
5 AAA CCC 
6 CCC BBB 
7 BBB DDD 
8 DDD CCC 

Aggregate Werte auf Listen mit GroupBy.apply:

>>> df3.groupby('k')['v'].apply(list) 
k 
AAA [AAA, BBB, CCC] 
BBB   [CCC, DDD] 
CCC [BBB, AAA, CCC] 
DDD    [CCC] 

Oder

>>> df3.groupby('k').apply(lambda x: pd.Series([len(x), list(x['v'])])) 
    0    1 
k      
AAA 3 [AAA, BBB, CCC] 
BBB 2  [CCC, DDD] 
CCC 3 [BBB, AAA, CCC] 
DDD 1   [CCC]