Python: Iteratoren und `join()` besser verstehen

Question

Die Funktion join() akzeptiert einen iterierbaren Parameter. Allerdings habe ich mich gefragt, warum mit:

text = 'asdfqwer' 

dieses:

''.join([c for c in text]) 

ist deutlich schneller als:

''.join(c for c in text) 

Das gleiche geschieht mit langen Strings (d text * 10000000).

Wenn ich den Speicherabdruck beider Ausführungen mit langen Strings beobachte, denke ich, dass beide eine und nur eine Liste von Zeichen im Speicher erstellen und sie dann zu einer Zeichenfolge verbinden. Ich vermute also, der Unterschied liegt nur zwischen join() erstellt diese Liste aus dem Generator und wie der Python-Interpreter das gleiche tut, wenn es [c for c in text] sieht. Aber auch hier rate ich nur, also möchte ich, dass jemand meine Vermutungen bestätigt/leugnet.

Answer 1

Die Methode join liest ihre Eingabe zweimal; einmal, um zu bestimmen, wie viel Speicher für das resultierende String-Objekt zugewiesen werden soll, und dann erneut, um den tatsächlichen Join durchzuführen. Das Übergeben einer Liste ist schneller als das Übergeben eines Generatorobjekts, von dem es eine Kopie erstellen muss, damit es zweimal durchlaufen werden kann.

Ein Listenverständnis ist nicht einfach ein Generatorobjekt, das in eine Liste eingepackt ist. Daher ist es schneller, die Liste extern zu erstellen, als join aus einem Generatorobjekt erstellen zu lassen. Generatorobjekte sind für die Speichereffizienz und nicht für die Geschwindigkeit optimiert.

Natürlich ist ein String bereits ein iterables Objekt, so dass Sie einfach ''.join(text) schreiben könnten. (Auch dies ist nicht so schnell wie das Erstellen der Liste explizit aus der Zeichenfolge.)