Wie überlagern Sie zwei Stereobilder, damit sie ausgerichtet werden? (Kamera intrinsics und extrinsics bekannt)

Question

Ich möchte eine Transformation finden, die das Bild von der linken Kamera auf das Bild von der rechten Kamera projiziert, so dass die beiden ausgerichtet werden. Ich habe es bereits mit zwei ähnlichen Kameras (IGB und RGB) geschafft, indem ich die Disparitätskarte verwendet habe und jedes Pixel um den entsprechenden Disparitätswert verschoben habe. Mein Problem ist, dass dies bei anderen Kameras, die ich verwende (zB Multispektral- und Infrarotsensoren), nicht funktioniert, weil die berechneten Disparitätskarten sehr wenig Details haben. Ich benutze derzeit die Matlab Computer Vision Tool Box, und ich vermute, dass das Problem die schlechte Korrelation von Informationen in den Bildern ist (kleine Übereinstimmungen, die durch den Disparitätsalgorithmus gefunden werden). Ich würde gerne wissen, ob es eine andere Möglichkeit gibt, diese Transformation zu machen, zum Beispiel nur durch die Verwendung der extrinsischen und intrinsischen Parameter der Kameras (die bereits kalibriert sind).

Answer 1

Die Disparität IST die Transformation, nach der Sie suchen. Jede sinnvolle Links-Rechts-Abbildung hängt von der 3D-Information ab, die die Disparität liefert. Alles andere halluziniert nur Werte, die auf Annahmen basieren, die einen Sinn ergeben oder nicht.