FFmpeg+SDL+Qt 构建简单视频播放器

谁践踏了优雅 2023-10-13 11:18 21阅读 0赞

FFmpeg是一个音视频处理的开源库，提供了C接口用于音视频的编解码、封装、流处理。在本教程中主要利用FFmpeg对视频封装文件进行解封装，解码。

SDL是音视频播放和渲染的一个开源库，主要利用它进行视频渲染和音频播放。

Qt主要用于写播放器简单UI，以及播放暂停音视频选择按钮。

首先要了解音视频的一些基本知识，平常所说的MP4，mkv文件是一个音视频封装文件，里面一般包含音频视频两条流，每条流存储着编码信息以及展示时间基等信息。

播放器的整个流程如下图，首先从服务器拉流，或者从本地打开视频文件（用FFmpeg处理时接口都一样，只是提供的地址不一样）。打开之后进行解封装，每次读取一个packet，是音频则解码成音频帧，视频则解码成视频帧。再对音视频帧做一个转换，转换成可以播放和渲染的格式，进行播放。  
![ee14541e00de48d1ad73e7f862d1745e.png][]

程序的整个流程如下图。首先需要写好Qt UI，对FFmpeg进行初始化，对SDL进行初始化，然后打开输入源，同时打开相应的解码器，设置播放格式，根据输入源格式和播放格式创建转换器。再创建音视频播放线程，接着就可以开始读文件了，每次读到一个packet就根据stream\_index判断是否为音视频，是音频则放入音频解码器解码成音频帧，再转换格式，送入音频缓存中，是视频则放入视频解码器并转换。再继续读下一packet.音视频播放则由不同的线程完成，所以还需要时间同步。一般而言以音频为准，视频根据音频的播放时间进行渲染。  
![dab55409252a41c4bb25316b9119a077.png][]

所以以下就分五个部分讲解整个流程，分别是初始化，解封装，解码，转换，播放。整个工程用Qt作为框架，需要创建qt app。

**初始化**

FFmpeg网络初始化，因为我们的程序是从rtmp服务器拉流，所以需要对网络做一个初始化。

avformat_network_init();

SDL初始化，初始化音频和视频模块以及时间模块。

if (SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER)) {
    		TestNotNull(NULL, SDL_GetError());
    	}

以及画好界面窗口和按钮之后将其组织起来并设置槽函数。

ui.audio->setCheckState(Qt::Checked);
    	ui.video->setCheckState(Qt::Checked);
     
    	//水平布局，控制按钮
    	QBoxLayout *ctlLayout = new QHBoxLayout;
    	ctlLayout->addWidget(ui.pauseBtn, 5, Qt::AlignCenter);
    	ctlLayout->addWidget(ui.video);
    	ctlLayout->addWidget(ui.audio);
     
    	//垂直布局：视频播放器、进度条、控制按钮布局
    	QBoxLayout *mainLayout = new QVBoxLayout;
    	mainLayout->addWidget(videoWidget);
    	mainLayout->addLayout(ctlLayout);
     
    	//设置布局
    	mainWindowWidget->setLayout(mainLayout);
     
    	//设置槽函数
    	connect(ui.pauseBtn, SIGNAL(clicked()), this, SLOT(ChangePlay()));
    	connect(ui.audio, SIGNAL(stateChanged(int)), this, SLOT(ChangeAudio()));
    	connect(ui.video, SIGNAL(stateChanged(int)), this, SLOT(ChangeVideo()));

**解封装**

解封装之前需要打开输入，并找到相应的音视频流的index，用于以后判断从文件读取的packet属于哪个流。

//打开输入
    	if (avformat_open_input(&pFmtCtx, fileName.c_str(), NULL, NULL) < 0) {
    		TestNotNull(NULL, "Failed to open input file: " + fileName);
    	}
    	//找编码信息
    	if (avformat_find_stream_info(pFmtCtx, NULL) < 0) {
    		TestNotNull(NULL, "Failed to find stream information.");
    	}
    	//设置音视频的 index
    	for (int i = 0; i < pFmtCtx->nb_streams; i++) {
    		if (pFmtCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_AUDIO)
    			aIndex = i;
    	}//for
     
    	//设置视频索引
    	for (int i = 0; i < pFmtCtx->nb_streams; i++) {
    		if (pFmtCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
    			vIndex = i;
    	}

打开音视频解码器，一般来讲是重新申请一个解码器CodecContext，但是官网给的很多例子也是直接指向stream里面的解码器并将其打开，所以我也这么做了。

//打开音频解码器
    	pAudioCdcCtx = pFmtCtx->streams[aIndex]->codec;
    	AVCodec* pAudioCdc = avcodec_find_decoder(pAudioCdcCtx->codec_id);
    	TestNotNull(pAudioCdc, "Failed to find audio decoder.");
    	if (avcodec_open2(pAudioCdcCtx, pAudioCdc, NULL) < 0) {	
    		TestNotNull(NULL, "Failed to open audio codec.");
    	}
     
    	//打开视频解码器
    	pVideoCdcCtx = pFmtCtx->streams[vIndex]->codec;
    	AVCodec* pVideoCdc = avcodec_find_decoder(pVideoCdcCtx->codec_id);
    	TestNotNull(pVideoCdc, "Failed to find decoder.");
    	if (avcodec_open2(pVideoCdcCtx, pVideoCdc, NULL) < 0) {	
    		TestNotNull(NULL, "Failed to open codec.");
    	}

然后调用av\_read\_frame()函数读取文件的一个packet.

AVPacket pkt = { 0 };
    	av_init_packet(&pkt);
    	av_read_frame(pFmtCtx, &pkt);

**转换**

视频帧主要是转换一帧视频像素的编码格式以及长度和宽度。

//设置
    pSwsCtx = sws_getContext(pIn->width,
    		pIn->height,
    		(AVPixelFormat)pOut->format,
    		pOut->width,
    		pOut->height,
    		(AVPixelFormat)pOut->format,	
    		SWS_BILINEAR, NULL, NULL, NULL);
    ....
    //转换
    sws_scale(pSwsCtx, (uint8_t const* const*)pInFrm->data,
    		pInFrm->linesize, 0, VIDEO_HEIGH, pFrmYUV->data, pFrmYUV->linesize);

音频帧主要转换音频的采集格式声道信息以及采样率。

//转换设置
    pSwrCtx = swr_alloc_set_opts(NULL,
    		pOutPara->channel_layout,
    		(AVSampleFormat)pOutPara->format,
    		pOutPara->sample_rate,
    		pInPara->channel_layout, 
    		(AVSampleFormat)pInPara->format,
    		pInPara->sample_rate,
    		0, NULL);
    .....
    //转换
    swr_convert(pSwrCtx, &(pBuff->dataPos), pBuff->dataLen,
    		(const uint8_t**)pFrm->data, pFrm->nb_samples)

**播放**

音频播放比较复杂。首先需要设置一个SDL\_AudioSpec结构体，里面会传入一个回调函数，在用SDL\_OpenAudio()函数打开播放器时，当音频播放完数据时就会去调用这个回调函数，我的回调函数如下：

void CallBackFunc(void * userdata, Uint8 * stream, int len)
    {
    	SDL_memset(stream, 0, len);
    	PlayBuffer* playData = (PlayBuffer*)userdata;
    	if (playData->dataLen == 0)
    		return;
     
    	/*  Mix  as  much  data  as  possible  */
    	len = (len > playData->dataLen ? playData->dataLen : len);
     
    	SDL_MixAudio(stream, playData->dataPos, len, SDL_MIX_MAXVOLUME);
    	playData->dataPos += len;
    	playData->dataLen -= len;
    }

此外我还设置了一个线程，一个不断从音频缓存队列读取一段数据，并改变userdata参数，使得userdata 的指针不断更新，（实际上这个线程的工作可以放到回调函数去做，让回调函数自己从缓存队列里面读取数据）。这个线程代码如下：

void Player::PlayAudio()
    {
    	while (true)
    	{
    		if (ctrl.GetPlayStatus() && ctrl.GetAudioStatus()) {
    			SDL_PauseAudio(0);
    			aPlay.WaitToPlay();
    		}
    		else {
    			SDL_PauseAudio(1);
    		}
    	}
    }

视频播放相对来说逻辑比较好理解，首先设置窗口，不断地从缓存队列里面读取一帧，根据音频播放时间来决定是否播放。

设置窗口代码如下，需要说明的时创建窗口和渲染需要在同一个线程，否则渲染时会出现Reset() INVALIDCALL的错误。winid是qt窗口的id，这样SDL窗口就会嵌入到Qt窗口里面。

int VideoPlay::SDLInit(int w, int h, void* winid)
    {
    	//设置渲染长方形
    	pScreen = SDL_CreateWindowFrom(winid);
    	TestNotNull(pScreen, SDL_GetError());
     
    	//创建窗口
    	pRender = SDL_CreateRenderer(pScreen, -1,
    		SDL_RENDERER_ACCELERATED);
    	TestNotNull(pRender, SDL_GetError());
     
    	//SDL_HINT_VIDEO_WINDOW_SHARE_PIXEL_FORMAT
    	pTexture = SDL_CreateTexture(pRender,
    		SDL_PIXELFORMAT_YV12,
    		SDL_TEXTUREACCESS_STREAMING,
    		rect.w, rect.h);
    	TestNotNull(pTexture, SDL_GetError());
    	return 0;
    }

视频播放线程函数：

void Player::PlayVideo(void* p)
    {
    	vPlay.SDLInit(0,0,p);
    	while (true) {
    		//获取音频播放时间
    		int64_t ts = aPlay.GetCurrentTime();
    		if (ctrl.GetPlayStatus() && ctrl.GetVideoStatus()) {
    			//控制器允许播放
    			vPlay.Render(ts);
    		}
    		else {
    			//显示黑屏
    			vPlay.BlackScreen();
    		}
    	}
    }

渲染函数：

int VideoPlay::Render(int64_t ts) {
    	
    	//从队列中获取一帧
    	if (pFrame == NULL) {
    		pFrame = (AVFrame*)cache->ComsumeElem();
    	}
    	int64_t diff = pFrame->pts/VIDEO_TIME_BASE - ts/AUDIO_TIME_BASE;
    	if (diff< -25 || diff > 1000){
    		//晚了25毫秒以上，或者早于100毫秒丢弃
    		printf("drop frame, diff = %d\n", diff);
    		av_frame_free(&pFrame);
    		pFrame = NULL;
    		return 0;
    	}
    	if (diff > 20)
    	{
    		Uint32 delay = diff - 20;
    		//printf("没到时间， sleep %d ms\n", delay);
    		SDL_Delay(1);
    		return 0;
    	}
    	//刷新渲染层
    	int ret = SDL_UpdateYUVTexture(pTexture, &rect,
    		pFrame->data[0], pFrame->linesize[0],
    		pFrame->data[1], pFrame->linesize[1],
    		pFrame->data[2], pFrame->linesize[2]);
    	if (ret < 0) {
    		TestNotNull(NULL, "texture is not valid.");
    	}
    	//清除、复制、播放
    	//if (SDL_RenderClear(pRender) < 0) {
    	//	TestNotNull(NULL, SDL_GetError());
    	//}
    	if (SDL_RenderCopy(pRender, pTexture, &rect, NULL) < 0) {
    		TestNotNull(NULL, SDL_GetError());
    	}
    	SDL_RenderPresent(pRender);
    	
    	printf("play video.\n");
    	av_frame_free(&pFrame);
    	pFrame = NULL;
    	return 0;
    }

[ee14541e00de48d1ad73e7f862d1745e.png]: https://img-blog.csdnimg.cn/ee14541e00de48d1ad73e7f862d1745e.png
[dab55409252a41c4bb25316b9119a077.png]: https://img-blog.csdnimg.cn/dab55409252a41c4bb25316b9119a077.png