Profiling Python C Erweiterungen

Question

Ich habe eine Python C-Erweiterung entwickelt, die Daten von Python empfängt und einige CPU-intensive Berechnungen berechnet. Es ist möglich, die C-Erweiterung zu profilieren? Das Problem hier ist, dass das Schreiben eines Beispieltests in C, der profiliert werden soll, eine Herausforderung darstellen würde, da der Code auf bestimmten Eingaben und Datenstrukturen beruht (generiert durch den Python-Steuercode).

Haben Sie Vorschläge?

Answer 1

Ich habe meinen Weg mit google-perftools gefunden. Der Trick bestand darin, die Funktionen StartProfiler und StopProfiler in Python (in meinem Fall durch Cython) zu packen.

Zum Profilieren der C-Erweiterung reicht es aus, den Python-Code innerhalb der Aufrufe von StartProfiler und StopProfiler zu umbrechen.

from google_perftools_wrapped import StartProfiler, StopProfiler 
impor c_extension # extension to profile c_extension.so 

StartProfiler("output.prof") 
... calling the interesting functions from the C extension module ... 
StopProfiler() 

Dann zum Beispiel zur Analyse können Sie in Callgrind-Format exportieren und das Ergebnis in kcachegrind sehen:

pprof --callgrind c_extension.so output.prof > output.callgrind 
kcachegrind output.callgrind 

Answer 2

Mit gprof, können Sie jedes Programm profilieren, die properly compiled und verknüpft war (gcc -pg etc, in gprof ‚s Fall). Wenn Sie eine Python-Version verwenden, die nicht mit gcc erstellt wurde (z. B. die vorkompilierte Windows-Version der PSF), müssen Sie untersuchen, welche gleichwertigen Tools für diese Plattform und Toolchain existieren (im Windows PSF-Fall kann möglicherweise mingw helfen)). Dort kann es "irrelevante" Daten geben (interne C-Funktionen in der Python-Laufzeit), und wenn ja, sind die Prozentsätze von gprof möglicherweise nicht anwendbar - aber die absoluten Nummern (von Aufrufen und deren Dauer) sind immer noch gültig, und Sie können die Ausgabe gprof nachbearbeiten (zB mit einem kleinen Python-Skript ;-), um die irrelevanten Daten auszuschließen und die gewünschten Prozentsätze zu berechnen.

Answer 3

Nach dem Kommentar von pygabriel habe ich beschlossen, ein Paket zu laden, um PyPI dass ein Profiler implementiert für Python-Erweiterungen mit dem cpu-Profiler von google-perftools: http://pypi.python.org/pypi/yep

Answer 4

Einer meiner Kollegen sagte mir ltrace(1). Es hat mir in der gleichen Situation sehr geholfen.

Angenommen, das gemeinsame Objekt Name Ihres C extention ist myext.so und Sie wollen benchmark.py auszuführen, dann

ltrace -x @myext.so -c python benchmark.py 

Sein Ausgang ist wie

% time  seconds usecs/call  calls  function 
------ ----------- ----------- --------- -------------------- 
24.88 30.202126  7550531   4 ldap_result 
12.46 15.117625  7558812   2 l_ldap_result4 
12.41 15.059652  5019884   3 ldap_chase_v3referrals 
12.41 15.057678  3764419   4 ldap_new_connection 
12.40 15.050310  3762577   4 ldap_int_open_connection 
12.39 15.042360  3008472   5 ldap_send_server_request 
12.38 15.029055  3757263   4 ldap_connect_to_host 
    0.05 0.057890  28945   2 ldap_get_option 
    0.04 0.052182  26091   2 ldap_sasl_bind 
    0.03 0.030760  30760   1 l_ldap_get_option 
    0.03 0.030635  30635   1 LDAP_get_option 
    0.02 0.029960  14980   2 ldap_initialize 
    0.02 0.027988  27988   1 ldap_int_initialize 
    0.02 0.026722  26722   1 l_ldap_simple_bind 
    0.02 0.026386  13193   2 ldap_send_initial_request 
    0.02 0.025810  12905   2 ldap_int_select 
.... 

Besondere Sorgfalt ist erforderlich, wenn Ihr gemeinsames Objekt hat - oder + in seinem Dateinamen. Diese Zeichen werden nicht so behandelt, wie sie sind (Details siehe).

Der Platzhalter * kann eine Problemumgehung wie -x @myext* anstelle von -x @myext-2.so sein.