基于FFmpeg开发视频播放器, 基本流程(一)

Dear 丶 2023-07-14 08:04 18阅读 0赞

刚开始学习FFmpeg,用几篇文章记录下,使用ffmpeg开发一个简单的视频播放器,大概的过程.这里只讨论核心代码,如解封装,音频的解码播放,视频的解码播放,音视频同步,不涉及UI布局.

基于FFmpeg开发视频播放器, 基本流程(一) [https://blog.csdn.net/lin20044140410/article/details/104847588][https_blog.csdn.net_lin20044140410_article_details_104847588]

基于FFmpeg开发视频播放器,视频解码播放(二) [https://blog.csdn.net/lin20044140410/article/details/104849552][https_blog.csdn.net_lin20044140410_article_details_104849552]

基于FFmpeg开发视频播放器,音频解码播放(三) [https://blog.csdn.net/lin20044140410/article/details/104851476][https_blog.csdn.net_lin20044140410_article_details_104851476]

基于FFmpeg开发视频播放器,音视频同步(四) [https://blog.csdn.net/lin20044140410/article/details/104857038][https_blog.csdn.net_lin20044140410_article_details_104857038]

[http://ffmpeg.org/][http_ffmpeg.org]

一, FFmpeg是一套用来记录,转换数字音频,视频,并能将其转化为流的开源项目,拥有丰富的命令来实现音视频相关的操作,其源码是以模块化的方式进行构建,可以根据需要选择不同模块进行集成使用.

FFmpeg还可以集成第三方的库,用ffmpeg的统一接口来使用,比如常用的librtmp,libMP3lame等.

FFmpeg主要有以下几个模块:

libavformat 用于各种音视频封装格式的生成和解析

libacodec 用于声音,图像的编解码

libavfilter 用于音视频滤波器的开发.

libavutil 提供一些公共的工具函数

libswresample 用于音频格式的转码,如转成PCM流

libswscale 用于图像格式的转换,缩放,如RGB 和YUV的转换

libpostproc 用于后期效果的处理.

二, 播放器开发中涉及到的一些概念

原始数据 :能够表示完整的图像,声音的数据格式,如RGB,PCM.

编码格式:存储编码后数据的容器,如MP4,FLV等,

AVPacket 解码前的数据结构体.

AVFrame 解码后的数据结构体.

AVFormatContext 媒体文件的构成和基本信息上下文.

AVCodecContext 解码信息上下文.

三,播放器的开发流程,借用一张网上的图片:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbjIwMDQ0MTQwNDEw_size_16_color_FFFFFF_t_70][]

四, 准备环境,

对音视频的处理都是在native层,所以要新建一个Native项目,当然也可以新建Android项目,然后手动添加CPP模块,

前提是要先编译好ffmpeg相关的库,静态库,动态库都行,这里用的时静态库,这个库要依据你手机CPU的架构来导入.

gradle的配置没有特别注意的地方,如果你是Android项目,要注意在build.gradle中配置:

externalNativeBuild {
            cmake {
                path "src/main/cpp/CMakeLists.txt"
                version "3.10.2"
            }
        }

CMakeLists.txt的配置,主要时设置源文件路径,引入头文件,链接依赖库,

cmake_minimum_required(VERSION 3.4.1)
    
    
    aux_source_directory(. SOURCE)
    add_library( # Sets the name of the library.
                 native-lib
                 SHARED
                 ${SOURCE})
    
    find_library( # Sets the name of the path variable.
                  log-lib
                  log )
    include_directories(${CMAKE_SOURCE_DIR}/include)
    
    
    set(libs ${CMAKE_SOURCE_DIR}/armeabi-v7a)
    set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -L${libs}")
    
    target_link_libraries( # Specifies the target library.
                           native-lib
    
        avfilter avformat  avcodec avutil swresample swscale rtmp z android OpenSLES
                           ${log-lib} )

这里除了ffmpeg相关的库,还引入了libz.so, 这个ffmpeg链接时用到的,否则会报各种错误.

OpenSlES 是用于音频的解码和播放的.

libandroid.so ,这个库用于支持视频播放时的ANativeWindow的相关引用.

五,代码结构

Java层代码比较简单,一个Activity类,主要用来加载一个SurfaceView控件,用来渲染视频,

一个Player.java类,通过native方法,调用ffmpeg的接口,所以有一个同样名字的Player.cpp类,用来跟Player.java对接,会在Native层创建Player.cpp的对象,然后把这个对象的指针传到Java层,这样Java层再去调用Native层方法时,只要把这个指针传过去,就可以在Native层再转回Player.cpp的对象.

extern "C"
    JNIEXPORT jlong JNICALL
    Java_com_test_ffmpegapplication_EnjoyPlayer_nativeInit(JNIEnv *env, jobject thiz) {
        EnjoyPlayer * enjoyPlayer = new EnjoyPlayer(new JavaCallHelper(javaVm, env, thiz));
        return (jlong) enjoyPlayer;
    }
    
    extern "C"
    JNIEXPORT void JNICALL
    Java_com_test_ffmpegapplication_EnjoyPlayer_setDataSource(JNIEnv *env, jobject thiz,
                                                              jlong native_handler, jstring path_) {
        const char* path = env->GetStringUTFChars(path_,0);
        EnjoyPlayer *enjoyPlayer = reinterpret_cast<EnjoyPlayer *>(native_handler);
        enjoyPlayer->setDataSource(path);
    
        env->ReleaseStringUTFChars(path_, path);
    }

然后是几个基础类:

BaseChannel.h, 对Audio，Video的解码，显示，提取了公共的基类，这里只列出了基本的函数,完整的实现,可以下载附件查看.

class BaseChannel{
    virtual void play() =0;
    
    virtual void stop() = 0;
    
    virtual void decode() = 0;
    
        //这是两个线程安全的队列，
    //AVPacket 解码前的数据结构体，从媒体文件读取出的媒体数据，就放入这个队列中，
        SafeQueue<AVPacket *> pkt_queue;
        //AVFrame 解码后的数据结构体，VideoChannel中解码线程会从pkt_queue队列中取出数据，进行解码，
        // 解码后的数据放入frame_queue.后续的播放线程，会从frame_queue队列取出数据，进行渲染。
        SafeQueue<AVFrame *> frame_queue;
    }

JavaCallHelper.cpp,用于native层回调java层的实现,用于通知java层,播放准备完成,可以play了,及native层出错后的提示回调.

JavaCallHelper::JavaCallHelper(JavaVM *_javaVM, JNIEnv *_env, jobject &_jobj) :
        javaVM(_javaVM), env(_env){
        //把_jobj创建成一个全局的引用，这里_jobj就是java层的EnjoyPlayer对象。
        jobj = env->NewGlobalRef(_jobj);
        //获取它的class对象，类似反射。
        jclass jclazz = env->GetObjectClass(jobj);
    
        jmid_error = env->GetMethodID(jclazz, "onError", "(I)V");
        jmid_prepare = env->GetMethodID(jclazz, "onPrepare", "()V");
        jmid_progress = env->GetMethodID(jclazz, "onProgress", "(I)V");
    }

SafeQueue.h 一个加了锁的队列,用来存放解码前的AVPackt,和解码后的AVFrame,        
    在队列执行出队操作时,多加了一个标记 ,避免死锁.
    //当队列是空的时候，会阻塞这里，如果这时调用了stop，因为不会再enqueue，就会一直wait在这里，
            //所以加了mEnable标记，在stop时，mEnable=false，唤醒等待，退出线程，

template<typename T>
    class SafeQueue{
    
        int deQueue(T &value) {
            int ret = 0;
            pthread_mutex_lock(&mutex);
            //当队列是空的时候，会阻塞这里，如果这时调用了stop，因为不会再enqueue，就会一直wait在这里，
            //所以加了mEnable标记，在stop时，mEnable=false，唤醒等待，退出线程，
            while (mEnable && q.empty()) {
                pthread_cond_wait(&cond, &mutex);
            }
            if (!q.empty()) {
                value = q.front();
                q.pop();
                ret = 1;
            }
            pthread_mutex_unlock(&mutex);
            return ret;
        }
    }

这一篇文档,先介绍这么多,从下篇开始,讨论下视频的解码,播放.

附件(源码):[https://download.csdn.net/download/lin20044140410/12247488][https_download.csdn.net_download_lin20044140410_12247488]

[https_blog.csdn.net_lin20044140410_article_details_104847588]: https://blog.csdn.net/lin20044140410/article/details/104847588
[https_blog.csdn.net_lin20044140410_article_details_104849552]: https://blog.csdn.net/lin20044140410/article/details/104849552
[https_blog.csdn.net_lin20044140410_article_details_104851476]: https://blog.csdn.net/lin20044140410/article/details/104851476
[https_blog.csdn.net_lin20044140410_article_details_104857038]: https://blog.csdn.net/lin20044140410/article/details/104857038
[http_ffmpeg.org]: http://ffmpeg.org/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbjIwMDQ0MTQwNDEw_size_16_color_FFFFFF_t_70]: /images/20230529/76d76e37e7a84879a88ad7b449e0fdc2.png
[https_download.csdn.net_download_lin20044140410_12247488]: https://download.csdn.net/download/lin20044140410/12247488