Ist es sinnvoll python mit c für die Performance zu integrieren?

Question

Ich benutze Python für fast alles und war mir immer klar, dass ich aus irgendeinem Grund einen Engpass in meinem Python-Code finden könnte (aufgrund der Einschränkungen von Python), könnte ich immer ein C-Skript verwenden, das in meinen Code integriert ist .

Aber wie ich begann zu lesen guide auf, wie man Python zu integrieren. In dem Artikel der Autor sagt:

Es gibt mehrere Gründe, warum man sich wünschen kann Python in C oder C++, wie zu erweitern:

• Aufruf von Funktionen in einer vorhandenen Bibliothek.
• einen neuen builtin Typ Python
• Optimierung der inneren Schleifen in Code
• Belichten eines C++ Klassenbibliothek zu Python
• Embedding Python in einer C/C++ Anwendung

nichts über die Leistung Hinzufügen . Also frage ich nochmal, ist es sinnvoll Python mit c für Performance zu integrieren?

Answer 1

Meiner Erfahrung nach ist es selten notwendig, mit C zu optimieren. Ich bevorzuge es, in Python Engpässe zu identifizieren und Algorithmen in diesen Bereichen zu verbessern. Die Verwendung von Hashtabellen, das Caching und die generelle Neuorganisation Ihrer Datenstrukturen für künftige Anforderungen bietet ein erstaunliches Potenzial für die Beschleunigung Ihres Programms. Wenn sich Ihr Programm entwickelt, werden Sie besser einschätzen können, welche Art von Material vorberechnet werden kann, also haben Sie keine Angst davor, Ihren Speicher und Ihre Algorithmen wiederherzustellen. Suchen Sie außerdem nach Möglichkeiten, "zwei Fliegen mit einer Klappe" zu töten, z. B. wenn Sie Objekte sortieren, während Sie sie rendern, anstatt große Arten zu machen.

Wenn alles nach bestem Wissen bearbeitet wird, würde ich einen Optimierer wie Psyco in Betracht ziehen. Ich habe buchstäblich 10-fache Leistungsverbesserungen erlebt, nur indem ich Psyco benutzt und eine Zeile zu meinem Programm hinzugefügt habe.

Wenn alles andere fehlschlägt, verwenden Sie C an den richtigen Stellen und Sie bekommen, was Sie wollen.

Answer 2

* Optimierung der inneren Schleifen im Code

Ist das nicht über die Leistung?

Answer 3

Leistung ist ein weites Thema, deshalb sollten Sie genauer sein. Wenn der Engpass in Ihrem Programm viel Netzwerkarbeit erfordert, dann wird das Umschreiben in C/C++ wahrscheinlich keinen Unterschied machen, da die Netzwerkaufrufe Zeit brauchen, nicht Ihr Code. Sie wären besser dran, den langsamen Abschnitt Ihres Programms neu zu schreiben, um weniger Netzwerkanrufe zu verwenden und so die Zeit zu reduzieren, die Ihr Programm auf entwork IO wartet. Wenn Sie mathintensive Aufgaben wie das Lösen von Differentialgleichungen ausführen und wissen, dass es C-Bibliotheken gibt, die eine bessere Leistung bieten, dann sollten Sie den Abschnitt Ihres Programms so umschreiben, dass Sie diese Bibliothek verwenden, um die Leistung zu erhöhen Performance.

Answer 4

Sie erhalten einen großen Leistungsschub mit C aus Python (vorausgesetzt, Ihr Code ist gut geschrieben, usw.), weil Python zur Laufzeit interpretiert wird, während C vorher kompiliert wird. Das wird die Dinge ein wenig beschleunigen, denn mit C läuft Ihr Code einfach, während der Python-Interpreter bei Python herausfinden muss, was Sie tun, und ihn in Maschinenanweisungen interpretieren.

Answer 5

C kann definitiv prozessorgebundene Aufgaben beschleunigen. Die Integration ist jetzt noch einfacher, mit der ctypes-Bibliothek, oder Sie können sich für eine der anderen Methoden entscheiden, die Sie erwähnen.

Ich fühle mercurial hat einen guten Job mit der Integration gemacht, wenn Sie ihren Code als ein Beispiel betrachten möchten. Die rechenintensiven Aufgaben sind in C und alles andere ist Python.

Answer 6

Mir wurde gesagt, für den Berechnungsteil Verwendung C für die Skripterstellung Python verwenden. Also ja, du kannst beides integrieren. C ist in der Lage schneller zu berechnen als die von Python

Answer 7

Die C-Extensions-API ist notorisch schwer zu arbeiten, aber es gibt eine Reihe anderer Möglichkeiten, C-Code zu integrieren.

Für einige weitere brauchbare Alternativen siehe http://www.scipy.org/PerformancePython, insbesondere den Abschnitt über die Verwendung von Weave für die einfache Einfügung von C-Code.

Ebenfalls interessant ist Cython, die ein schönes System für die Integration mit C-Code bietet. Cython wird für die Optimierung von einigen hoch angesehenen Python-Projekten wie NumPy und Sage verwendet.

Wie oben erwähnt, ist Psyco eine weitere attraktive Option für die Optimierung und eine, die requires nichts anderes als

import psyco 
psyco.bind(myfunction) 

Psyco Ihre inneren Schleifen identifizieren und automatisch optimierte Versionen der Routinen ersetzen.