Feature-Tracking funktioniert bei Bildern mit niedriger Auflösung nicht richtig

Question

Ich verwende SIFT für die Merkmalserkennung und calcOpticalFlowPyrLK für die Merkmalverfolgung in Bildern. Ich arbeite an Bildern mit niedriger Auflösung (590x375 nach dem Zuschneiden), die von Microsoft kinect stammen.

// feature detection 
cv::Ptr<Feature2D> detector = cv::xfeatures2d::SIFT::create(); 
detector->detect(img_1,keypoints_1); 
KeyPoint::convert(keypoints_1, points1, vector<int>()); 

// feature tracking 
vector<float> err; 
Size winSize=Size(21,21); 
TermCriteria termcrit=TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, 0.01); 
calcOpticalFlowPyrLK(img_1, img_2, points1, points2, status, err, winSize, 1, termcrit, 0, 0.001); 

Ich laufe dies auf consective Bildern von stationärer Szene (nur Idee zu bekommen) aus derselben Kameraposition mit einer Geschwindigkeit von 30 Bildern pro Sekunde aufgenommen. Für die Augen sehen Bilder gleich aus, aber irgendwie kann calcOpticalFlowPyrLK die gleichen Funktionen nicht von einem Bild zum anderen verfolgen. Die Position (x, y-Koordinaten) sollte in der erkannten Funktion und der verfolgten Funktion identisch sein. Irgendwie ist es nicht.

Gemäß AldurDisciple Vorschlag, ich denke, ich erkenne Rauschen als Funktionen. Die schwarzen Bilder unten sind Unterschiede zwischen den konsuktiven Elementen, zeigt Rauschen. Die nächsten sind Originalbilder und dann Bilder mit erkannten Merkmalen.

Mein Ziel ist es, Informationen zu verwenden, um Veränderungen der Roboterposition über die Zeit zu finden.

benutzte ich

GaussianBlur(currImageDepth, currImageDepth, Size(9,9), 0, 0); 

für Lärm, aber es hat nicht geholfen.

Find complete code in here

Answer 1

Ich denke, es gibt zwei Faktoren, die Sie berücksichtigen sollen:

1. Ihre Szene besteht im Wesentlichen aus drei homogenen Regionen, damit die FAST Punkte in diesen Regionen werden durch Rauschen wahrscheinlich in dem Bild erzeugt werden. Da das Rauschmuster in zwei aufeinanderfolgenden Bildern vollständig unterschiedlich sein kann, kann die beste Übereinstimmung für einige der Punkte an einer vollständig anderen Position in dem Bild sein.

2. Ihr Bild hat bereits eine recht niedrige Auflösung und die 3 in der Parameterliste der calcOpticalFlowPyrLK Funktion bedeutet, dass Sie die Funktion benötigen, um die Punkte mit einer Pyramide von 4 Ebenen zu verfolgen. Dies bedeutet, dass die Punkte zuerst in dem Bild verfolgt werden, das um einen Faktor 2^3 = 16 (dh ~ 36x23 Bild) skaliert ist, dann in dem Bild um einen Faktor 2^2 = 8 (dh ~ 73x46 Bild) und so weiter . Eine anfängliche Auflösung von 36x23 ist viel zu niedrig für ein Bild mit fast keiner Textur.

Ihr Problem zu lösen, können Sie nur zwei Pyramidenstufen (d passieren 1 statt 3) oder auch nur eine einzige Ebene (das heißt passieren 0 statt 3) zu verwenden versuchen. Bedenken Sie jedoch, dass das Geräuschproblem impliziert, dass Sie im Allgemeinen immer ein paar falsche Übereinstimmungen haben.

Auf der anderen Seite, Tracking-Punkte in einer statischen Szene ohne Kamera Bewegung scheint sehr viel wie ein künstliches Problem.In realen Szenarien werden Sie wahrscheinlich mehr daran interessiert sein, Bewegung in der Szene oder eine statische Szene mit einer beweglichen Kamera zu verfolgen. In diesem Fall ist es sinnvoll, mehrere Pyramidenebenen zu verwenden.