HintergrundStrukturierung keypoints als Eingang für ein neuronales Netzwerk
Ich habe ein neuronales Netzwerk, das Eckpunkt Ausgänge für Pose (Fuß, Knöchel, Knie, Arme, Kopf, usw.) und die Verbindungen - im Grunde I habe ein Skelett. Ich möchte diese Schlüsselpunkte/Skelett als Eingabe für ein anderes neuronales Netzwerk verwenden - ein Beziehungsnetzwerk (https://arxiv.org/pdf/1706.01427.pdf). Ziel ist es, Beziehungen zwischen Pose und verschiedenen Objekten zu lernen.
Frage
Da ich mit den wichtigsten Punkten arbeiten bin, bin ich nicht sicher, was der beste Weg, als eine Eingabe ihnen ist zu strukturieren. Ich habe darüber nachgedacht, die Schlüsselpunkte in ein Bild zu konvertieren, bei dem an jeder X/Y-Stelle der Wert 0 ist, es sei denn, es ist durch das Skelett abgedeckt, wo der Wert auf 1 gesetzt ist. Aber das scheint ineffizient. Gibt es eine Möglichkeit, die strukturellen Vorteile der Verwendung von Bildern (für die ich Faltungsnetze verwenden kann) beizubehalten, ohne dass die Leistung beeinträchtigt wird?
Wenn Ihre "Objekte" Bilder sind, glaube ich das Beste ist, diese Skelette Bilder auch zu machen .... Aber wenn Sie Schlüsselpunkte zu Objekten haben, könnten Sie vielleicht versuchen, nur mit Schlüsselpunkten zu arbeiten .... –
Die Objekte sind auch Schlüsselpunkte. Was bedeutet aber, nur mit Schlüsselpunkten zu arbeiten? Bedeutet es (1) Nur die X, Y Koordinaten der Schlüsselpunkte, (2) Die X, Y Koordinaten der Schlüsselpunkte und jede Position auf der sie verbindenden Linie oder etwas anderes? Würden Sie auch Bilder verwenden, bei denen jede andere Koordinate auf 0 gesetzt ist oder buchstäblich nur die Schlüsselpunkte verwenden? – megashigger
Ich habe keine fertige Lösung .... aber ich würde versuchen, daran zu experimentieren ... vielleicht sollten Sie Linien (Punktepaare, wenn Sie keine Oberflächen haben) definieren. Aber in der Tat müssten Sie etwas über ungenutzte Punkte machen. –