Ich möchte eine virtuelle Ansicht aus einem beliebigen Blickwinkel synthetisieren, indem ich ein Stereo-Paar von Kameras verwende, die ich bereits habe. Ich habe meine Stereoanlage kalibriert, so dass ich sowohl die Eigen- als auch die Extrinsik der beiden Kameras in Bezug zueinander kenne. Mein Ansatz zum Synthetisieren der neuen Ansicht basiert auf der 3 × 4-Kameramatrixberechnung basierend auf [X, Y, Z]
Punkten, die unter Verwendung der aus dem Stereopaar erhaltenen Tiefenkarte berechnet wurden. Dann verwende ich mehrere Punktkorrespondenzen aus der neuen Ansicht (x, y)
und verwende die Gleichung [x y 1]' = C * [X Y Z 1]'
, um die Kameramatrix C
herauszufinden. Meine Fragen:Wie wird eine neue Kameraansicht mit einem Stereopaar synthetisiert?
- Ist das der richtige Ansatz zum Generieren einer beliebigen Ansicht?
- Wie viele Punktkorrespondenzen werden in welchen Ebenen für die Berechnung der Kameramatrix empfohlen? Da ich mit 6-8 Punkten kein gutes Ergebnis bekomme. Ich kann SIFT/SURF nicht verwenden, da die Bilder keine Konturen aufweisen und ich die Punkte manuell markieren muss.
- Auch wenn ich die Kameramatrix bekomme, wie funktioniert man vorwärts, da die Kameramatrix nicht invertierbar ist.
Bitte kommentieren, wenn Sie weitere Informationen benötigen.
Danke!
Ist 3D-Mesh der einzige Weg, es zu tun? Wie wäre es mit bildbasierten Rendering- und 3D-Warping-Techniken, d. H. Die keine vollständige 3D-Rekonstruktion benötigen. Ich möchte es in Echtzeit-Szenarien machen, so dass die gesamte 3D-Netzgenerierung ziemlich teuer sein könnte. – alasin
Nun, wollen Sie "genau" (insbesondere genaue Okklusionen bei Ihrer Rekonstruktion) oder einfach "plausibel"? Beachten Sie, dass Sie genau genommen keine vollständige Maschentopologie benötigen, sondern nur ein lokales Adjazenzraster, da die Tiefenkarte zu einer Ansicht normal ist (d. H. In dieser Ansicht ist z = f (x, y)). In der Praxis tauchen jedoch einige Topologieprobleme auf, da Sie in der Regel auch außerhalb von Okklusionen Löcher in der Tiefenkarte haben. –