2025年FFmpeg总结

科技前沿 • 2025-02-27 12:35 • 阅读 55

大家好，我是讯享网，很高兴认识大家。

根据雷神的博客与项目中用到的FFmpeg总结如下：

FFMPEG中结构体很多。最关键的结构体可以分成以下几类：

a) 解协议（http,rtsp,rtmp,mms）

AVIOContext，URLProtocol，URLContext主要存储视音频使用的协议的类型以及状态。URLProtocol存储输入视音频使用的封装格式。每种协议都对应一个URLProtocol结构。（注意：FFMPEG中文件也被当做一种协议“file”）

b) 解封装（flv,avi,rmvb,mp4）

AVFormatContext主要存储视音频封装格式中包含的信息；AVInputFormat存储输入视音频使用的封装格式。每种视音频封装格式都对应一个AVInputFormat 结构。

c) 解码（h264,mpeg2,aac,mp3）

每个AVStream存储一个视频/音频流的相关数据；每个AVStream对应一个AVCodecContext，存储该视频/音频流使用解码方式的相关数据；每个AVCodecContext中对应一个AVCodec，包含该视频/音频对应的解码器。每种解码器都对应一个AVCodec结构。

d) 存数据

视频的话，每个结构一般是存一帧；

解码前数据：AVPacket

解码后数据：AVFrame

他们之间的对应关系如下所示：

av_register_all进行编解码器注册，详见https://blog.csdn.net/leixiaohua1020/article/details/

在初始化的时候调用；

音箱播放器FFmpeg支持根据url或文件进行解码播放；也支持根据数据流进行解码播放。两种方法稍微有些不同。

根据url或文件播放调用avformat_open_input,详见https://blog.csdn.net/leixiaohua1020/article/details/

, 打开文件并对AVFormatContext ->pb（AVIOContext）进行赋值，, av_read_frame 中获取的AVPacket（压缩后的数据，需要解压缩成pcm）就是从此pb种读取的。调用avformat_find_stream_info ，该函数可以读取一部分视音频数据并且获得一些相关的信息(包含计算帧数等)，调用avcodec_send_packet、avcodec_receive_frame解码成AVFrame形式的（PCM数据,pcm是一种编码）。

(2)根据流数据进行播放调用需要指定AVFormatContext ->pb，指向哪个AVIOContext,avformat_open_input

一般一个AVPacket对应一个AVFrame,一个AVFrame数据大小根据文件格式（例如mp3、wav、pcm）都不同.AVFrame. nb_samples代表采样数目

如上图所示：每个AVFormatContext可能有多个AVStream,根据av_find_best_stream计算在哪个index。AVStream 中nb_frames

，codec_info_nb_frames标志着文件中包含几帧

Alsa播放音频：需要把一帧AVFrame pcm数据重采样成符和条件的采样率、位率、采样数、声道数的数据重采样比较耗时