Extrahieren von I-Frames von H264 in MPEG-TS in C

Question

Ich experimentiere mit Video und würde gerne wissen, wie ich I-Frames aus H264 im MPEG-TS-Container extrahieren kann. Ich möchte Vorschaubilder aus einem Videostream erzeugen. Da der I-Frame ein vollständiges Bild für P- und B-Frames sein soll, gibt es die Möglichkeit, die Daten des Bildes einfach zu extrahieren, ohne es mit einem Codec decodieren zu müssen?

Ich habe bereits einige Arbeit mit MPEG-TS-Container-Format, aber ich bin nicht so sehr auf Codecs spezialisiert.

Ich bin eher auf der Suche nach Informationen.

Vielen Dank.

Answer 1

Ich bin kein Experte in diesem Bereich, aber ich glaube, die Antwort auf Ihre Frage ist NEIN.

Wenn Sie den I-Frame als JPEG-Bild speichern möchten, müssen Sie den Videoframe immer noch "umcodieren", dh Sie müssen zuerst den I-Frame mit einem H264-Decoder dekodieren und dann mit einem JPEG-Encoder kodieren . Dies ist so, weil der JPEG-Encoder einen H264-Frame nicht versteht, er akzeptiert nur unkomprimierte Videoframes als Eingabe.

Da die Eingabe in den JPEG-Encoder ein unkomprimierter Frame ist, können Sie ein JPEG-Bild von jedem Frametyp (I/P/B) erzeugen, wie er bereits decodiert wurde (mit Referenz-I-Frame). wenn nötig) vor dem Einspeisen in den Encoder.

Answer 2

Ich bin nicht Experte in diesem Bereich auch. Aber ich habe mit Decodierung gespielt. Verwenden Sie diese gstreamer Pipeline Vorschau von video.mp4 zu extrahieren:

gst-launch -v filesrc location=./video.mp4 ! qtdemux name=demux demux.video_00 ! ffdec_h264 ! videorate ! 'video/x-raw-yuv,framerate=1/1' ! jpegenc ! multifilesink location=image-%05d.jpeg 

Wenn Sie einen Code schreiben möchten, ersetzen Video kommen mit appsrc/appsink Elemente. Das Schreibsteuerprogramm zu den Rohrleitungen (siehe example):

filesrc location=./video.mp4 ! qtdemux name=demux demux.video_00 ! ffdec_h264 ! appsink 
appsrc ! 'video/x-raw-yuv,framerate=1/1' ! jpegenc ! multifilesink location=image-%05d.jpeg 

Buffers ohne GST_BUFFER_FLAG_DELTA_UNIT Flag gesetzt ist I-Frames. Sie können viele Frames sicher überspringen und den Stream bei jedem I-Frame dekodieren.

Answer 3

Wie andere festgestellt haben, ist die Decodierung von h.264 kompliziert. Du könntest deinen eigenen Decoder schreiben, aber es ist eine große Anstrengung. Warum nicht einen vorhandenen Decoder verwenden?

Intel IPP-Bibliothek hat die grundlegenden Bausteine ​​für einen Decoder und eine Probe decoer:

Code Samples for the Intel® Integrated Performance Primitives

Es gibt libavcodec:

Using libavformat and libavcodec

Revised avcodec_sample.0.4.9.cPP