Apple Vision Bilderkennung

Question

Wie viele andere Entwickler habe ich mich in Apples neue ARKit-Technologie gestürzt. Es ist großartig. Für ein bestimmtes Projekt möchte ich jedoch (reale Bilder) in der Szene erkennen können, um etwas darauf zu projizieren (genau wie Vuforia mit seinen Zielbildern), oder um damit ein Ereignis auszulösen in meiner Bewerbung.

In meiner Forschung, wie dies zu erreichen ist, stolperte ich über die Vision und CoreML-Frameworks von Apple. Dies scheint vielversprechend, obwohl ich noch nicht in der Lage war, meinen Kopf darum zu wickeln. Wie ich es verstehe, sollte ich in der Lage sein, genau das zu tun, was ich will, indem ich Rechtecke mit dem Vision-Framework suche und diese in ein CoreML-Modell füttere, das es einfach mit den Zielbildern vergleicht, die ich im Modell vordefiniere. Es sollte dann in der Lage sein, das gefundene Zielbild auszuspucken.

Obwohl das in meinem Kopf gut klingt, habe ich noch keinen Weg gefunden, dies zu tun. Wie würde ich ein solches Modell erstellen, und ist das überhaupt möglich?

Answer 1

Ab Arkit 1,5 (kommt mit IOS 11.3 im Frühjahr 2018), scheint ein Feature direkt auf ARKit implementiert zu sein, das dieses Problem löst.

ARKit unterstützt die Bilderkennung vollständig. Nach der Erkennung eines Bildes können die 3D-Koordinaten als Anker abgerufen werden, und daher kann Inhalt auf ihnen platziert werden.

Answer 2

fand ich dieses Projekt auf Github vor einigen Wochen: AR Kit Rectangle Detection

Ich denke, das ist genau das, was Sie suchen ...