Object Classification, wann das Vollbild oder das extrahierte Objekt verwendet werden soll?

Question

Ich versuche, ein Objektklassifizierungssystem mit OpenCV einzurichten. Wenn ich ein neues Objekt in einer Szene erkenne, möchte ich wissen, ob das neue Objekt zu einer bekannten Objektklasse gehört (ist es eine Box, eine Flasche, etwas Unbekanntes usw.).

Meine Schritte so weit:

• das Bild in den roi Abholzen, wo ein neues Objekt
• Berechnung keypoints für jedes Bild (cv :: SurfFeatureDetector)
• Berechnung Deskriptoren für jeden charakteristischen Punkt erscheinen könnte (cv :: SurfDescriptorExtractor)
• Generieren eines Vokabular Bag of Words (cv :: BOWKMeansTrainer)
• Berechnung Antwort Histogramme (cv :: BOWImgDescriptorExtractor)
• die Antwort Histogramme verwenden ein cv :: SVM für jede Objektklasse
• Mit dem gleichen Satz von Bildern wieder zu trainieren, um die Klassifizierung

ich zu testen, wissen, dass es noch etwas falsch mit meinem Code ist seit die Klassifizierung funktioniert noch nicht.

Aber ich weiß nicht wirklich, wo ich das ganze Bild verwenden soll (runtergeschnitten zum roi) oder wann ich das neue Objekt aus dem Bild extrahieren soll und nur das Objekt selbst verwenden soll.

Es ist mein erster Schritt in die Objekterkennung/-klassifizierung und ich sah Leute, die sowohl volle Bilder als auch extrahierte Objekte benutzten, aber ich weiß einfach nicht, wann was zu verwenden ist.

Ich hoffe, Womeone kann dies für mich klären.

Answer 1

Sie sollten nicht die gleichen Bilder für Test und Training verwenden. Im Training müssen Sie idealerweise einen ROI extrahieren, der nur ein dominantes Objekt enthält, da der Algorithmus davon ausgeht, dass die aus positiven Stichproben extrahierten Codewörter in einem Testbild enthalten sein müssen, um sie als positiv zu kennzeichnen. Wenn Sie jedoch ein wirklich großes Dataset wie ImageNet haben, sollte der Algorithmus eine Generalisierung vornehmen.

Beim Testen müssen Sie keinen ROI extrahieren, da SIFT/SURF skaleninvariante Funktionen sind. Es ist jedoch auch gut, ein einziges dominantes Objekt im Test-Set zu haben.

Ich denke, Sie sollten 1 Classifier für Ihre jede Objektklasse trainieren. Dies wird Ein-gegen-Alles-Klassifikator genannt.

Eine kleine Anmerkung, wenn Sie sich nicht um diese Probleme kümmern und große Datenmengen haben möchten. Gehen Sie einfach mit Convolutional Neural Networks. Sie haben eine wirklich gute Generalisierungsfähigkeit und sind dank ihrer vollständig verbundenen letzten Schicht von Natur aus Multi-Label.