falsche Kamera Pose von zwei Sicht SFM

Question

Um Ergebnisse der Zwei-Ansicht SFM-Ansatz zur Schätzung der Kamera Pose [R | t] zu validieren, habe ich die Schachbrettmuster, die ich für die Kalibrierung verwendet, insbesondere, dass "calibrateCamera" Funktion in OpenCV gibt Rotation und Translation Vektoren für jedes Muster zurück. Und daher, relative Pose zwischen, sagen wir, die ersten beiden Muster können leicht berechnet werden.

Doch ich bekomme nicht die richtige Kamera-Pose, und ich habe so schwer gekämpft, das Problem herauszufinden, aber nicht umsonst.

Ich würde wirklich Ihre Beiträge schätzen, um mein Problem zu lösen.

MY CODE Beschreibung:

• undistort Bilder
• Suche Schachbrett Ecken in zwei Bilder
• Matchpunkte (verifiziert durch Seiten Auftragen der zwei Bilder und die Linien Seite)
• Schätzung Grundmatrix (verifiziert: x'T * F * x = 0)
• Essentielle Matrix (E) = KT * F * K (verifiziert: X'T * E * X = 0)
• SVD von E = U * S * VT

• R = U * W * VT oder U * WT * VT so dass WT = [0, -1,0; 1,0,0; 0,0,1]

  FundMat, mask = cv2.findFundamentalMat(imgpoints1, imgpoints2, cv2.FM_LMEDS) 
  
  # is the fundamental matrix is really a fundamental Matrix. xFx'=0 ?? 
  # verfication of fundamental matrix 
  
  for i in range(len(imgpoints1)): 
  
      X = np.array([imgpoints1[i][0],imgpoints1[i][1],1]) 
      X_prime = np.array([imgpoints2[i][0],imgpoints2[i][1],1]) 
      err = np.dot(np.dot(X_prime.T,FundMat),X) 
      if mask[i] == True: 
       print(err) 
  
  
      # E = [t]R = (K_-T)_-1 * F * K = K_T*F*K 
  term1 = np.dot(np.transpose(mtx), FundMat)  # newcameramtx , mtx 
  E = np.dot(term1, mtx)       # newcameramtx , mtx 
  
  
      # verfication of Essential matrix 
  for i in range(len(imgpoints1)): 
  
      X_norm = np.dot(np.linalg.inv(mtx), np.array([imgpoints1[i][0],imgpoints1[i][1],1]).T) 
      X_prime_norm = np.dot(np.linalg.inv(mtx), np.array([imgpoints2[i][0],imgpoints2[i][1],1]).T) 
      err_Ess = np.dot(np.dot(X_prime_norm.T,E),X_norm) 
      if mask[i] == True: 
       print(err_Ess) 
  
  # SVD of E 
  U,S,V_T = np.linalg.svd(E) 
  
  # computation of Rotation and Translation without enforcement 
  W = np.array([[0,-1,0],[1,0,0],[0,0,1]]) 
  
  
  Rot1 = np.dot(np.dot(U, W), V_T) 
  
  Rot2 = np.dot(np.dot(U, W.T), V_T) 
  

Answer 1

Ihr Problem ist, dass Sie die Punkte aus dem Schachbrett verwenden: Sie nicht die Grundmatrix aus koplanaren Punkte abschätzen können. Eine Möglichkeit, dies zu beheben, besteht darin, Szenenpunkte mit einem generischen Ansatz wie SIFT oder SURF zu vergleichen. Die andere Möglichkeit besteht darin, die Essential-Matrix direkt mit dem 5-Punkt-Algorithmus zu berechnen, da die Essential-Matrix aus koplanaren Punkten berechnet werden kann.

Denken Sie auch daran, dass Sie die Kameraposition nur bis zur Skalierung aus der Essential-Matrix berechnen können. Mit anderen Worten, Ihre Übersetzung wird letztendlich ein Einheitsvektor sein. Eine Möglichkeit, den Skalierungsfaktor zu berechnen, um die tatsächliche Länge der Übersetzung zu erhalten, ist die Verwendung Ihres Schachbretts.