Python, cPickle, Beizen Lambda-Funktionen

Question

Ich habe ein Array von Objekten wie diese beizen:

import cPickle as pickle 
from numpy import sin, cos, array 
tmp = lambda x: sin(x)+cos(x) 
test = array([[tmp,tmp],[tmp,tmp]],dtype=object) 
pickle.dump(test, open('test.lambda','w')) 

und es gibt die folgenden Fehler:

TypeError: can't pickle function objects 

Gibt es eine Möglichkeit, um das?

Answer 1

Das integrierte Beizmodul kann mehrere Arten von Python-Objekten (einschließlich Lambda-Funktionen, verschachtelte Funktionen und Funktionen, die in der Befehlszeile definiert sind) nicht serialisieren.

Das Paket picloud enthält einen robusteren Picker, der Lambda-Funktionen beizen kann.

from pickle import dumps 
f = lambda x: x * 5 
dumps(f) # error 
from cloud.serialization.cloudpickle import dumps 
dumps(f) # works 

PiCloud-serialisierte Objekte können deserialisiert die normale Gurke mit/cPickle load und loads Funktionen.

Dill bietet auch eine ähnliche Funktionalität

>>> import dill   
>>> f = lambda x: x * 5 
>>> dill.dumps(f) 
'\x80\x02cdill.dill\n_create_function\nq\x00(cdill.dill\n_unmarshal\nq\x01Uec\x01\x00\x00\x00\x01\x00\x00\x00\x02\x00\x00\x00C\x00\x00\x00s\x08\x00\x00\x00|\x00\x00d\x01\x00\x14S(\x02\x00\x00\x00Ni\x05\x00\x00\x00(\x00\x00\x00\x00(\x01\x00\x00\x00t\x01\x00\x00\x00x(\x00\x00\x00\x00(\x00\x00\x00\x00s\x07\x00\x00\x00<stdin>t\x08\x00\x00\x00<lambda>\x01\x00\x00\x00s\x00\x00\x00\x00q\x02\x85q\x03Rq\x04c__builtin__\n__main__\nU\x08<lambda>q\x05NN}q\x06tq\x07Rq\x08.' 

Answer 2

Sie werden eine eigentliche Funktion verwenden, anstatt eine, die importierbar ist (nicht in einer anderen Funktion verschachtelt):

import cPickle as pickle 
from numpy import sin, cos, array 
def tmp(x): 
    return sin(x)+cos(x) 
test = array([[tmp,tmp],[tmp,tmp]],dtype=object) 
pickle.dump(test, open('test.lambda','w')) 

Die Funktion Objekt noch durch einen lambda Ausdruck erzeugt werden könnte, aber wenn man nur anschließend geben die sich ergebenden Funktionsobjekt denselben Namen:

tmp = lambda x: sin(x)+cos(x) 
tmp.__name__ = 'tmp' 
test = array([[tmp, tmp], [tmp, tmp]], dtype=object) 

weil pickle speichert nur das Modul und einen Namen für ein Funktionsobjekt; Im obigen Beispiel zeigen tmp.__module__ und tmp.__name__ jetzt direkt auf die Stelle zurück, an der das gleiche Objekt beim Entpacken wieder gefunden wird.

Answer 3

Es gibt eine andere Lösung: Sie definieren Funktionen als Strings, Gurke/un-Beize dann eval verwenden, ex:

import cPickle as pickle 
from numpy import sin, cos, array 
tmp = "lambda x: sin(x)+cos(x)" 
test = array([[tmp,tmp],[tmp,tmp]],dtype=object) 
pickle.dump(test, open('test.lambda','w')) 
mytmp = array([[eval(x) for x in l] for l in pickle.load(open('test.lambda','r'))]) 
print mytmp 
# yields : [[<function <lambda> at 0x00000000033D4DD8> 
#   <function <lambda> at 0x00000000033D4E48>] 
#   [<function <lambda> at 0x00000000033D4EB8> 
#   <function <lambda> at 0x00000000033D4F28>]] 

Diese bequemer sein könnte für andere Lösungen, da die in Essig eingelegte Darstellung vollständig unabhängig wäre, ohne externe Abhängigkeiten verwenden zu müssen.