die letzte Position jeder Spalte in Datenrahmen von Pandas Finding

Question

Ich habe einige die Suche getan, um diese Frage zu beantworten, aber ich kann nicht herausfinden, wie dies zu tun:

Ich habe einen Datensatz, die 185 Zeilen enthält und 30 Spalten. Nicht alle Zeilen haben einen Wert. Ich möchte nach der Position des letzten Werts für jede Spalte suchen und den Index dieser Spalte nehmen. Ich bin nicht sicher, wie diese Operation zu tun, wie wenn ich den Code verwenden, darunter mir die Länge des Datenrahmens nicht nur diese Spalte gibt:

len(data_exam['col']) 

Ich würde für jeden Vorschlag zu schätzen wissen.

Auch möchte ich sicherstellen, dass, wenn ich alle Spalten in einer Schleife lesen möchte, wäre mein folgender Code eine gute Wahl oder nicht! :

list=[] 
for col in data: 
    function which find the length of column 

Danke.

Answer 1

können Sie die last_valid_index verwenden um die Indexposition des letzten gültigen Werts in einer bestimmten Spalte zu finden. Es gibt auch Zwilling, first_valid_index.

# Set-up sample data. 
np.random.seed(0) 
df = pd.DataFrame(np.random.randn(5, 3), columns=list('ABC')) 

df.iloc[2:, 0] = np.nan 
df.iloc[4:, 1] = np.nan 
>>> df 
      A   B   C 
0 1.764052 0.400157 0.978738 
1 2.240893 1.867558 -0.977278 
2  NaN -0.151357 -0.103219 
3  NaN 0.144044 1.454274 
4  NaN  NaN 0.443863 

# Solution to find index of last valid values per column. 
>>> df.apply(lambda series: series.last_valid_index()) 
A 1 # <== Index of last valid data in column A. 
B 3 # <== Index of last valid data in column B. 
C 4 # <== Index of last valid data in column C. 
dtype: int64 

Answer 2

IIUC, möchten Sie den Wert der letzten nicht-nan in jeder Spalte:

df[::-1].bfill().iloc[0] 

Beispiel:

df = pd.DataFrame({'A':[1,2,3,4,np.nan],'B':[1,np.nan,np.nan,np.nan,np.nan],'C':[1,2,3,4,5]}) 

    A B C 
0 1.0 1.0 1 
1 2.0 NaN 2 
2 3.0 NaN 3 
3 4.0 NaN 4 
4 NaN NaN 5 

Ausgang:

A 4.0 
B 1.0 
C 5.0 
Name: 4, dtype: float64 

Answer 3

df.reset_index().melt('index').dropna().groupby('variable')['index'].max() 
Out[487]: 
variable 
A 3 
B 0 
C 4 
Name: index, dtype: int64