ffmpeg protocol concat 进行ts流合并视频的时间戳计算及音画同步方式一点浅析

青旅半醒 2022-12-30 13:48 28阅读 0赞

# ffmpeg protocol concat 进行ts流合并视频的时间戳计算及音画同步方式一点浅析 #

### 文章目录 ###

*  ffmpeg protocol concat 进行ts流合并视频的时间戳计算及音画同步方式一点浅析
 *   *  audio 10 video 5s 衔接测试
     *  audio 5s video 10s 接着音频短的片尾斜街一段
     *  小结

--------------------

ffmpeg 有三种常见的视频合并方式: `demuxer`，`protocol`，`filter`

这里有介绍它的使用 :

[http://trac.ffmpeg.org/wiki/Concatenate\#demuxer][http_trac.ffmpeg.org_wiki_Concatenate_demuxer]

本文主要介绍ts流合并视频时候合并后视频的pkt是如何计算的，音画是怎么同步的。

--------------------

这种方式 是以复制pkt的方式进行的，不需要解码，不像fitler方式合并没有编码损失。  
其基本命令如下 :

ffmpeg -i input1.mp4 -c copy -bsf:v h264_mp4toannexb -f mpegts intermediate1.ts
    ffmpeg -i input2.mp4 -c copy -bsf:v h264_mp4toannexb -f mpegts intermediate2.ts
    ffmpeg -i "concat:intermediate1.ts|intermediate2.ts" -c copy -bsf:a aac_adtstoasc output.mp4

libavformat/concat.c中会处理 -i concat:"…" 打开所有输入文件，

输出的 pkt 的 dts 和 pts 为 所有输入pkt的 dts 、 pts + 上一个 ts\_offset  
第一个片段的ts\_offset 应该是 0 - 第一个片段的起始时间  
第二个片段的ts\_offset 是第一个片段中 最长流的 pts + 上一段的ts\_ofsset  
依此类推后面的。

main->tanscode()->transcoder\_step()->process\_input(): 中的这段代码 即处理了 一个片段末尾新ts\_offset的计算:

if ((ist->dec_ctx->codec_type == AVMEDIA_TYPE_VIDEO ||
             ist->dec_ctx->codec_type == AVMEDIA_TYPE_AUDIO) &&
             pkt_dts != AV_NOPTS_VALUE && ist->next_dts != AV_NOPTS_VALUE &&
            !disable_discontinuity_correction) {
        
            int64_t delta   = pkt_dts - ist->next_dts;
            if (is->iformat->flags & AVFMT_TS_DISCONT) {
        
                if (delta < -1LL*dts_delta_threshold*AV_TIME_BASE ||
                    delta >  1LL*dts_delta_threshold*AV_TIME_BASE ||
                    pkt_dts + AV_TIME_BASE/10 < FFMAX(ist->pts, ist->dts)) {
        
                    ifile->ts_offset -= delta;
                    av_log(NULL, AV_LOG_DEBUG,
                           "timestamp discontinuity for stream #%d:%d "
                           "(id=%d, type=%s): %"PRId64", new offset= %"PRId64"\n",
                           ist->file_index, ist->st->index, ist->st->id,
                           av_get_media_type_string(ist->dec_ctx->codec_type),
                           delta, ifile->ts_offset);
                    pkt.dts -= av_rescale_q(delta, AV_TIME_BASE_Q, ist->st->time_base);
                    if (pkt.pts != AV_NOPTS_VALUE)
                        pkt.pts -= av_rescale_q(delta, AV_TIME_BASE_Q, ist->st->time_base);
                }

因此 其合并 方式 应该如下图所示 :

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3MzA4MzIx_size_16_color_FFFFFF_t_70]

如是，生成两个测试源，验证一下 :

## audio 10 video 5s 衔接测试 ##

ffprobe -i c.mp4 -select\_streams v:0 -show\_packets -of json |grep pts

可以看到 pts 在 5s 处 会有一段 跳变 而 audio 在5-10s是连续的 ->

"pts_time": "4.776667",
                "pts": 432900,
                "pts_time": "4.810000",
                "pts": 435900,
                "pts_time": "4.843333",
                "pts": 438900,
                "pts_time": "4.876667",
                "pts": 441900,
                "pts_time": "4.910000",
                "pts": 444900,
                "pts_time": "4.943333",
                "pts": 447900,
                "pts_time": "4.976667",
                "pts": 450900,
                "pts_time": "5.010000",
                "pts": 904341,
                "pts_time": "10.048233",
                "pts": 907341,
                "pts_time": "10.081567",
                "pts": 910341,
                "pts_time": "10.114900",
                "pts": 913341,
                "pts_time": "10.148233",
                "pts": 916341,
                "pts_time": "10.181567",

打开 deug\_ts 在ffmeg日志处 可以看到 ts 合并方式 下一段新的 偏移 取得是audio 的长度。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3MzA4MzIx_size_16_color_FFFFFF_t_70 1]

## audio 5s video 10s 接着音频短的片尾斜街一段 ##

ffprobe -i c.mp4 -select\_streams a:0 -show\_packets -of json |grep pts

这次我们检查音频流，可以看到音频在断点处 时间戳是有跳变的。

"pts": 657792,
                "pts_time": "14.915918",
                "pts": 658944,
                "pts_time": "14.942041",
                "pts": 660096,
                "pts_time": "14.968163",
                "pts": 661248,
                "pts_time": "14.994286",
                "pts": 882216,
                "pts_time": "20.004898",
                "pts": 883368,
                "pts_time": "20.031020",
                "pts": 884520,
                "pts_time": "20.057143"

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3MzA4MzIx_size_16_color_FFFFFF_t_70 2]

因此 基本符合开头猜想的逻辑：

## 小结 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3MzA4MzIx_size_16_color_FFFFFF_t_70]

> 这种合并方式的优点是 能够 不打乱 原来每段的 音视频时间戳 进而确保音画同步，

> 缺点是 在音画 duration 差别过大的片段后面进行衔接 会留出一段 音或视频的空隙。 这种 空隙 播放器可能会卡最后一帧处理，不过建议是 转码处理是自行补齐静音 或视频 最后一帧。
> 
> > 再或者 尝试使用 ffmpeg -shortest 选项 截掉 音画 偏长的那一段内容 ，来进行 concat。

[http_trac.ffmpeg.org_wiki_Concatenate_demuxer]: http://trac.ffmpeg.org/wiki/Concatenate#demuxer
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3MzA4MzIx_size_16_color_FFFFFF_t_70]: /images/20221120/38867f972e6947e59794e9c69a882aba.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3MzA4MzIx_size_16_color_FFFFFF_t_70 1]: /images/20221120/94da13c2fe994703921ead90b588c86b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3MzA4MzIx_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201225220727879.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3MzA4MzIx,size_16,color_FFFFFF,t_70