Android Asynctask, um Live-Video-Frames zu verarbeiten

Question

Ich verwende OpenCV, um einige Live-Video-Verarbeitung zu versuchen. Da die Verarbeitung ziemlich umfangreich ist, werden die Ausgangsframes erheblich verzögert, wodurch der Live-Stream unruhig wirkt.

Ich möchte einige der Verarbeitung in eine AsyncTask entladen. Ich habe es ausprobiert und es macht das Video tatsächlich viel glatter. Es beginnt jedoch eine große Menge von Aufgaben auf einmal, und dann werden sie langsam mit einigen Ergebnissen zurückkehren.

Gibt es eine Möglichkeit, dies zu verlangsamen, und warten auf ein Ergebnis, entweder mithilfe von Synchronize-Anweisungen oder eine andere Methode?

Auf jedem Kamerarahmen starte ich eine dieser Aufgaben. DoImgProcessing führt die lange Verarbeitung durch und gibt ein Zeichenfolgenresultat zurück.

private class LongOperation extends AsyncTask<Mat, Void, String> { 

    @Override 
    protected String doInBackground(Mat... params) { 
     Mat inputFrame = params[0]; 
     cropToCenter(inputFrame); 
     return doImgProcessing(inputFrame); 
    }  

    @Override 
    protected void onPostExecute(String result) { 
     Log.d(TAG, "on post execute: "+result); 

    } 

    @Override 
    protected void onPreExecute() { 
     Log.d(TAG, "on pre execute"); 
    } 
} 

public Mat onCameraFrame(Mat inputFrame) { 
    inputFrame.copyTo(mRgba);//this will be used for the live stream 
    LongOperation op = new LongOperation(); 
    op.execute(inputFrame); 
    return mRgba; 
} 

Answer 1

Ich würde so etwas tun:

// Example value for a timeout. 
private static final long TIMEOUT = 1000L; 

private BlockingQueue<Mat> frames = new LinkedBlockingQueue<Mat>(); 

Thread worker = new Thread() { 
    @Override 
    public void run() { 
     while (running) { 
      Mat inputFrame = frames.poll(TIMEOUT, TimeUnit.MILLISECONDS); 
      if (inputFrame == null) { 
       // timeout. Also, with a try {} catch block poll can be interrupted via Thread.interrupt() so not to wait for the timeout. 
       continue; 
      } 
      cropToCenter(inputFrame); 
      String result = doImgProcessing(inputFrame); 
     } 
    } 
}; 
worker.start(); 

public Mat onCameraFrame(Mat inputFrame) { 
    inputFrame.copyTo(mRgba);//this will be used for the live stream 
    frames.put(inputFrame); 
    return mRgba; 
} 

Der onCameraFrame den Rahmen auf der Warteschlange, die Arbeiter-Thread Umfragen aus der Warteschlange stellt.

Diese Dekorieren den Empfang und die Behandlung des Rahmens. Sie können das Wachstum der Warteschlange mit frames.size() überwachen.

Dies ist ein typisches Beispiel eines Produzenten-Konsumenten.

Answer 2

Wenn Sie dies für jeden Frame tun, klingt es, als ob Sie stattdessen einen Thread benötigen. Eine AsyncTask ist für, wenn Sie eine einmalige Aktivität für einen anderen Thread ausführen möchten. Hier möchten Sie es wiederholt tun. Erstellen Sie einfach einen Thread, und wenn ein Frame fertig ist, wird eine Nachricht an einen Handler gesendet, um den Post-Schritt im UI-Thread auszuführen. Es kann auf einem Semaphor oben in der Schleife warten, bis das nächste Frame bereit ist.