Just beobachtete die neue iPhone X Ankündigung, ist die Erfassung und Tracking-Technologie der Frontkamera für Entwickler offen? Eine Snapchat Gesichtsmaske wurde auf der Bühne vorgeführt, nicht sicher, ob es die Arkit mitDas neue iPhone X Frontkamera Tiefe und Gesicht Tracking-Mesh API
Ja, es ist für Entwickler offen.
Wenn Sie sich jetzt die ARKit docs page ansehen, werden Sie sehen, dass sie in World Tracking und Face Tracking unterteilt ist (plus einige Bits, die beiden gemeinsam sind). World Tracking ist das, was auf der WWDC angekündigt wurde - Sie suchen Ihr Gerät mit der Rückkamera bei AR-Inhalten in der Welt um Sie herum.
Face Tracking AR ist spezifisch für iPhone X und die TrueDepth Kamera. Wie Sie in diesen Dokumenten sehen können, verwendet es ARFaceTrackingConfiguration anstelle der anderen Konfigurationsklassen. Und es gibt Ihnen Informationen über das Gesicht in Echtzeit durch ARFaceAnchor Objekte.
In den Face-Anker-Dokumenten sieht es so aus, als gäbe es zwei Möglichkeiten, Gesichtsinformationen zu erhalten. Die geometry gibt Ihnen ein 3D-Mesh, das Sie anzeigen oder verwenden können, um Texturen auf das Gesicht abzubilden - das ist vermutlich das, was die Snapchat-Demo verwendet hat, um Wrestling-Masken in der Keynote-Demo zu erstellen. Die blendShapes gibt Ihnen eine Reihe von Animationsparametern, wie zum Beispiel, wie weit der Kiefer offen ist und wie schief das linke Auge ist (und etwa 50 andere, subtilere Dinge) ... sie sprechen davon, das zu animieren Marionetten oder Avatare, so ist wahrscheinlich, wie Animoji funktioniert.
Apple auch gepostet a sample code project showing how to do all of these, so können Sie den Code betrachten, um eine Idee zu bekommen, wie es geht. (Auch wenn Sie den Code nicht ohne ein iPhone X ausführen können.)
Hier ist ein Beispiel für die TrueDepth Kamera auf iPhone X mit: https://developer.apple.com/documentation/arkit/creating_face_based_ar_experiences
und eine brandneue Sitzung: Face Tracking with ARKit #601
Erstellen face-Based AR Erfahrungen
Platz und animieren 3D-Inhalte, die das Gesicht des Benutzers folgen und entsprechen Mimik, mit der TrueDepth Kamera auf dem iPhone X.
Diese Beispielanwendung bietet eine einfache Benutzeroberfläche, mit der Sie auf Geräten mit einer TrueDepth-Frontkamera vier Augmented Reality (AR) -Visualisierungen auswählen können (siehe iOS-Gerätekompatibilitätsreferenz).
- Die Kameraansicht allein, ohne AR-Inhalt.
- Das von ARKit zur Verfügung gestellte Frontgitter, mit automatischer Abschätzung der realen Umgebung der Richtungsbeleuchtung.
- Virtueller 3D-Inhalt, der an das reale Gesicht des Benutzers anzuhängen scheint (und von Teilen davon verdeckt wird).
- Ein einfacher Roboter-Charakter, dessen Gesichtsausdruck animiert ist, um dem des Benutzers zu entsprechen.
==> den Abschnitt Prüfen Titel „Platz 3D-Inhalte auf das Gesicht des Benutzers“ für Ihren zweiten Anwendungsfall.
