Erstellen eines Pandas-Datenrahmens aus einer .npy-Datei

Question

Ich versuche, einen Pandas-Datenrahmen aus einer .npy-Datei zu machen, die, wenn sie mit np.load eingelesen wird, ein numpy-Array mit einem Wörterbuch zurückgibt. Mein erster Instinkt war, das Wörterbuch zu extrahieren und dann einen Datenrahmen mit pd.from_dict zu erstellen, aber das scheitert jedes Mal, weil ich nicht das Wörterbuch aus dem Array, das von np.load zurückgegeben wurde, zu bekommen scheint. Es sieht so aus, als wäre es nur np.array ([dictionary, dtype = object]), aber ich kann das Wörterbuch nicht durch Indexieren des Arrays oder so etwas erhalten. Ich habe auch versucht, np.load ('filename'). Item() zu verwenden, aber das Ergebnis wird immer noch nicht von Pandas als Wörterbuch erkannt.

Alternativ habe ich versucht pd.read_pickle und das hat auch nicht funktioniert.

Wie kann ich dieses .npy-Wörterbuch in meinen Dataframe bekommen? Hier ist der Code, andernfalls hält ...

import pandas as pd 
import numpy as np 
import os 

targetdir = '../test_dir/' 

filenames = [] 
successful = [] 
unsuccessful = [] 
for dirs, subdirs, files in os.walk(targetdir): 
    for name in files: 
     filenames.append(name) 
     path_to_use = os.path.join(dirs, name) 
     if path_to_use.endswith('.npy'): 
      try: 
       file_dict = np.load(path_to_use).item() 
       df = pd.from_dict(file_dict) 
       #df = pd.read_pickle(path_to_use) 
       successful.append(path_to_use) 
      except: 
       unsuccessful.append(path_to_use) 
       continue 

print str(len(successful)) + " files were loaded successfully!" 
print "The following files were not loaded:" 
for item in unsuccessful: 
    print item + "\n" 

print df 

Answer 1

Nehmen wir an, sobald Sie die .npy laden, das Element (np.load(path_to_use).item()) sieht wie folgt aus;

{'user_c': 'id_003', 'user_a': 'id_001', 'user_b': 'id_002'} 

Also, wenn Sie mit einem DataFrame kommen müssen, wie unten unter Verwendung des obigen Wörterbuchs;

user_name user_id 
0 user_c id_003 
1 user_a id_001 
2 user_b id_002 

Sie können verwenden;

df = pd.DataFrame(list(x.item().iteritems()), columns=['user_name','user_id']) 

---

Wenn Sie eine Liste der Wörterbücher wie unten;

users = [{'u_name': 'user_a', 'u_id': 'id_001'}, {'u_name': 'user_b', 'u_id': 'id_002'}] 

Sie können einfach verwenden

df = pd.DataFrame(users) 

mit einem Datenrahmen zu kommen ähnlichen;

 u_id u_name 
0 id_001 user_a 
1 id_002 user_b 

---

Scheint, wie Sie ein Wörterbuch ähnlich wie diese haben;

data = { 
    'Center': [[0.1, 0.2, 0.3], [0.4, 0.5, 0.6]], 
    'Vpeak': [1.1, 2.2], 
    'ID': ['id_001', 'id_002'] 
} 

In diesem Fall können Sie einfach verwenden;

df = pd.DataFrame(data) # df = pd.DataFrame(file_dict.item()) in your case 

Um mit einem Datenrahmen ähnlich zu kommen;

Center   ID  Vpeak 
0 [0.1, 0.2, 0.3] id_001 1.1 
1 [0.4, 0.5, 0.6] id_002 2.2 

---

Wenn Sie ndarray im dict haben, tun einige auf unter ähnlichen Vorverarbeitung; und benutze es um das df zu erstellen;

for key in data: 
    if isinstance(data[key], np.ndarray): 
     data[key] = data[key].tolist() 

df = pd.DataFrame(data)