Rendering eines 3D-Netzes in ein Bild mit Python

Question

Ich arbeite ein neuronales Netzwerk, die Rekonstruktion von einem einzigen Bild mit Tensorflow konfrontiert Gesicht.

Ich versuche herauszufinden, wie die Ausgabe des Netzwerks (das ist ein 3D-Mesh) in ein Bild in Python rendern.

Die meisten der Bibliotheken, die ich gefunden habe, tun 3D-Rendering in Echtzeit, ich bin nur auf Render-und Einzelbild.

Ich brauche auch etwas, das schnell ist, da dies unter Umständen Video sein, einen Teil der Vorverarbeitung für das Netzwerk in Echtzeit (gilt das Netzwerk leben wird.

Das Netz ist ganz einfach, es ist ein einfaches Gesicht mit ungefähr 30k Vertices und 50k Dreiecken

Answer 1

Es gibt mehrere Open-Source- und kommerzielle Optionen, abhängig von Ihrem beabsichtigten Ergebnis.Ich folge aus Ihrer Frage, dass Sie bereits GPUs nutzen und beabsichtigen, deren zu nutzen Leistungsbeschleunigung, um Ihr einzelnes Rahmenergebnis zu produzieren Mit diesen Annahmen, hier sind meine zwei besten Empfehlungen:

1) Wenn Sie einen Proof-of-Concept erstellen, würde ich Blender (speziell Lux Renderer) nutzen.

1. Beginnen Sie mit der Szene zu exportieren LuxBlend 2.5
2. Nehmen Sie TensorFlow mit geometrie Netz und injizieren in die Szene-Datei
3. Anruf Lux diese dynamischen Dateien für jeden Frame zu machen

2) Wenn Sie planen, ein kommerzielles Produkt zu entwickeln, würde ich den iRay-Renderer von nVidia empfehlen. Sie können SDK-Zugriff erhalten und das Know-how des Support-Teams nutzen, um bei der Optimierung der Render-Details zu helfen.

Ich würde gerne diese Antwort zu revidieren, basierend auf jedem Feedback (oder Ihr GitHub Projekt)

Wenn meine Annahmen weg, so könnte diese Antwort hilfreich sein: 3D Scene Renderer for Python ;-)