Aruco Marker Erkennung mit 360 Kamera?

Question

vor kurzem habe ich mit der 360 Fly HD Kamera gespielt und frage mich, ob Aruco Marker in Echtzeit erkannt werden kann. Das erste, was mir in den Sinn kommt, ist, das Fischaugenbild zuerst in ein perspektivisches Bild umzuwandeln und dann die Erkennung auf dem perspektivischen Bild durchzuführen (ich werde es versuchen und werde mein Ergebnis hier später aktualisieren).

1. Converting a fisheye image into a panoramic, spherical or perspective projection
2. Hugin HowTo: Convert 360 Image to Cropped Flat Panoramic Image

Ich bin kein Experte auf diesem Gebiet. Hat jemand das schon mal gemacht? Kann dies erreicht werden, indem die Kamera anders kalibriert wird, z. B. durch Korrektur der Kameramatrix und der Verzerrungskoeffizientenmatrix?

Wenn ich in die falsche Richtung gehe, lass es mich wissen.

Answer 1

Ich konnte ein besseres Verständnis während des Prozesses bekommen.

Zuerst möchte ich sagen, dass 360 (fisheye, sphärisch, wie Sie es nennen) Bild ist nicht verzerrt. Ich war so von meiner Intuition betrogen und dachte, dass das Bild nach dem, wie es aussieht, verzerrt wurde. NEIN es ist nicht verzerrt. Bitte lesen Sie enter link description here für weitere Informationen.

Als nächstes habe ich beide 360 ​​Fly-Kameras ausprobiert und funktioniert auch nicht. Jedes Mal, wenn ich versuchte, mit opencv auf die Kamera zuzugreifen, schaltet sie sich automatisch aus und in den Speichermodus. Ich denke, das 360-Entwickler-Team implementiert absichtlich diese Schaltfunktion, um ein "Hacken" ihrer Produkte zu verhindern. Aber ich habe Leute gesehen, die erfolgreich die 360 ​​fliegen gehackt haben, es ist definitiv praktikabel.

Endlich konnte ich Aruco mit Ricoh Theta V erkennen (Theta S sollte auch funktionieren). Es ist so entwicklerfreundlich und ich konnte es in meinem ersten Versuch laufen lassen. Sie müssen nur die richtige Kamera auswählen und den Code ausführen lassen. Das einzige Problem ist die Reichweite, die erwartet wird (ca. 6ft) und Ricoh-Kamera ist ziemlich teuer (499 $).

click here to view succesful detection