Android Gesichtserkennung API - Gespeicherte Videodatei

Question

Ich möchte Gesichtserkennung/Tracking auf einer Videodatei (z. B. ein MP4 aus der Benutzergalerie) mit der Android Vision FaceDetector API durchführen. Ich kann viele Beispiele zur Verwendung der CameraSource-Klasse sehen, um Gesichtstracking in dem direkt von der Kamera kommenden Stream auszuführen (z. B. on the android-vision github), aber nichts in Videodateien.

Ich habe versucht, den Quellcode für durch Android Studio, aber es ist verschleiert, und ich konnte das Original online nicht sehen. Ich stelle fest, dass es viele Gemeinsamkeiten zwischen der Verwendung der Kamera und der Verwendung einer Datei gibt. Vermutlich spiele ich einfach die Videodatei auf einem Surface und übergebe das dann an eine Pipeline.

Alternativ kann ich sehen, dass Frame.Builder Funktionen setImageData und setTimestampMillis hat. Wenn ich das Video als ByteBuffer einlesen könnte, wie würde ich das an die FaceDetector API übergeben? Ich denke, this question ist ähnlich, aber keine Antworten. In ähnlicher Weise dekodieren Sie das Video in Bitmap Frames und übergeben Sie das an setBitmap.

Idealerweise möchte ich das Video nicht auf dem Bildschirm wiedergeben, und die Verarbeitung sollte so schnell erfolgen, wie die FaceDetector-API in der Lage ist.

Answer 1

Alternativ kann ich sehen, dass Frame.Builder die Funktionen setImageData und setTimestampMillis hat. Wenn ich das Video als ByteBuffer einlesen könnte, wie würde ich das an die FaceDetector API weitergeben?

Rufen Sie einfach an SparseArray<Face> faces = detector.detect(frame); wo detector wie diese erstellt werden muss:

FaceDetector detector = new FaceDetector.Builder(context) 
    .setProminentFaceOnly(true) 
    .build(); 

Answer 2

Wenn die Verarbeitungszeit ist nicht ein Problem, mit MediaMetadataRetriever.getFrameAtTime die Frage löst. Als Anton vorgeschlagen, können Sie auch FaceDetector.detect verwenden:

Bitmap bitmap; 
Frame frame; 
SparseArray<Face> faces; 
MediaMetadataRetriever mMMR = new MediaMetadataRetriever(); 
mMMR.setDataSource(videoPath); 
String timeMs = mMMR.extractMetadata(MediaMetadataRetriever.METADATA_KEY_DURATION); // video time in ms 
int totalVideoTime= 1000*Integer.valueOf(timeMs); // total video time, in uS 
for (int time_us=1;time_us<totalVideoTime;time_us+=deltaT){ 
     bitmap = mMMR.getFrameAtTime(time_us, MediaMetadataRetriever.OPTION_CLOSEST_SYNC); // extract a bitmap element from the closest key frame from the specified time_us 
     if (bitmap==null) break; 
     frame = new Frame.Builder().setBitmap(bitmap).build(); // generates a "Frame" object, which can be fed to a face detector 
     faces = detector.detect(frame); // detect the faces (detector is a FaceDetector) 
     // TODO ... do something with "faces" 
    } 

wo deltaT=1000000/fps und fps die gewünschte Anzahl von Bildern pro Sekunde ist. Zum Beispiel, wenn Sie 4 Frames pro Sekunde extrahieren möchten, deltaT=250000 (Beachten Sie, dass faces wird bei jeder Iteration überschrieben werden, so dass Sie etwas (store/Bericht Ergebnisse) innerhalb der Schleife tun sollten