Eine Region in der Tiefe abbilden Bild von Microsoft Kinect mit Open CV Python

Question

Ich arbeite an Hand Segmentierung mit Microsoft Kinect Depth Stream. Indem ich eine Schwellwertmessung durchführte, konnte ich den Körper vom Hintergrund trennen, basierend auf den Tiefeninformationen, die MS Kinect Sensor nun zur Segmentierung der Hände liefert. Irgendwelche Vorschläge, wie ich Hände segmentieren kann. Unten ist ein Screenshot meines Tiefenbildes. Ich benutze Open CV in Python. Um auf Kinect Sensor Streams zuzugreifen, verwende ich PyKinect von Microsoft.

Answer 1

Was Sie brauchen, ist ein semantischer Segmentierungsalgorithmus. Random-Entscheidung Wälder gab fantastische Ergebnisse. Überprüfen Sie die von Haggag et al. Es baut auf den Arbeiten von Shotton et al. Und Buys et al.

Wenn Sie Deep Learning verwenden möchten, überprüfen Sie die Arbeit von Abubakr et al.

Answer 2

Was Sie brauchen, ist ein semantischer Segmentierungsalgorithmus. Random-Entscheidung Wälder gab fantastische Ergebnisse. Überprüfen Sie die von Haggag et al. Es baut auf den Arbeiten von Shotton et al. Und Buys et al.

Wenn Sie Deep Learning verwenden möchten, überprüfen Sie die Arbeit von Abubakr et al. Die Basispapiere werden von Shotton et al. und Buys et al. Shotons Arbeit ist diejenige, die Kinect gegründet hat.

[1] Shotton et al., „Efficient menschliche Posenschätzung aus einem Tiefenbild,“ IEEE Transactions on Pattern Analysis and Machine Intelligence 2013.

[2] Einkäufen et al., „Ein erweiterbares System für RGB-D-basierte menschliche Körperdetektion und Pose-Schätzung ", Journal of Visual Communication and Image Representation, 2014.

Haggag et al. und Abobakr et al. auf diesen Papieren gebaut, um die folgenden mit zufälligen Wäldern zu produzieren.

[3] Abobakr et al., "A Skeleton-Free Fall Detection System von Tiefe von Bildern mit Zufall Entscheidung Wald", IEEE System Journal, 2018.

[4] Haggag et al., „Ein anpassungsfähigen System für RGB-D basierte menschliche Körpererkennung und Pose Schätzung: Mit eingebundenen Requisiten, "IEEE Internationale Konferenz für Systeme, Mensch und Kybernetik (SMC), 2016.

[5] Haggag et al.," Semantische Körperteile Segmentierung für vierbeinige Tiere, "IEEE Internationale Konferenz für Systeme, Mensch und Kybernetik (SMC), 2016.

Für bessere votin g Schema und nominale Label/Decision-Fusion der Label-Maps, die von den Random Trees erstellt wurden, siehe unten.

[6] Hossny et al., „Decision Fusion von Beschriftete Bilder mit der lokalen Majority Filter“ Electronics Letters, 2017.

Abobakr et al., Haben dann tief Lernen integriert.

[7 ] Abobakr et al., "Körpergelenke-Regression unter Verwendung von tiefen konvolutionellen neuralen Netzwerken", IEEE Internationale Konferenz über Systeme, Menschen und Kybernetik (SMC), 2016.

[8] Abobakr et al., "RGB-D human Haltungsanalyse für ergonomische Studien unter Verwendung eines tiefenkonvolutionellen neuralen Netzwerks, "IEEE Internationale Konferenz für Systeme, Menschen und Kybernetik (SMC) , 2017.

[9] Nahavandi et al."Eine gerüstfreie Körperoberflächenschätzung aus Tiefenbildern mit tiefen neuronalen Netzen", IEEE Internationale Konferenz für Systeme, Mensch und Kybernetik (SMC), 2017.