硬编软编 ffmpeg nvidia

系统管理员 2022-05-17 07:21 256阅读 0赞

https://trac.ffmpeg.org/wiki/HWAccelIntro

http://www.cnblogs.com/my\_life/articles/6728784.html

ffmpeg -hwaccels 显示所有可用的硬件加速器

watch -n 10 nvidia-smi

lspci -vnn | grep VGA -A 12

lshw -C display

下载安装完cuda，就会有nvidia-smi这些命令了

http://blog.csdn.net/u010264950/article/details/40888517

**一、软编码和硬编码如何区分**

软编码：使用CPU进行编码

硬编码：使用非CPU进行编码，如显卡GPU、专用的DSP、FPGA、ASIC芯片等

**二、软编码和硬编码比较**

软编码：实现直接、简单，参数调整方便，升级易，但CPU负载重，性能较硬编码低，低码率下质量通常比硬编码要好一点。

硬编码：性能高，低码率下通常质量低于软编码器，但部分产品在GPU硬件平台移植了优秀的软编码[算法][Link 1]（如X264）的，质量基本等同于软编码。

**三、目前的主流GPU加速平台**

Intel、AMD、NVIDIA

**四、目前主流的GPU平台开发框架**

CUDA：NVIDIA的封闭编程框架，通过框架可以调用GPU计算资源

AMD APP：AMD为自己的GPU提出的一套通用并行编程框架，标准开放，通过在CPU、GPU同时支持OpenCL框架，进行计算力融合。

OpenCL：开放计算语言，为异构平台编写程序的该框架，异构平台可包含CPU、GPU以及其他计算处理器，目标是使相同的运算能支持不同平台硬件加速。

Inel QuickSync：集成于Intel显卡中的专用视频编解码模块。

http://blog.csdn.net/u010264950/article/details/40888517

硬解软编: read(ffmpeg) ---> decoder(NVIDIA) ---> | Queue(20) | ---> encoder(ffmpeg)  
软解软编: read(ffmpeg) ---> decoder(ffmpeg) ---> encoder(ffmpeg)

解码与编码之间维护一个队列，队列长度定为20（因为解码速度快于编码速度，数据被覆盖，丢帧）。

https://developer.nvidia.com/ffmpeg

http://www.echojb.com/hardware/2017/01/12/300109.html

https://bbs.archlinux.org/viewtopic.php?id=215555 这篇文章不错，可能的错误原因是没指定`–pix_fmt`

验证成功

ffmpeg -loglevel debug -y -f decklink -video\_input sdi -i 'DeckLink 4K Extreme 12G@22' -c:v h264\_nvenc -pix\_fmt yuv420p -preset default -gpu 1 -acodec aac -f flv rtmp://10.110.26.84:1935/rtmplive/decklink

注意老版本的选项可能是-pixel\_format

https://developer.nvidia.com/ffmpeg

**http://blog.guorongfei.com/2015/10/07/nvenc\_ffmpeg\_usage/**

**http://blog.guorongfei.com/tags/GPU/**

# 硬件加速 #

硬件加速的学术名称是 GPGPU（General-purpose computing on graphics processing units），中文名称是通用图形处理器。最基本的思想是使用 GPU 的运算能力完成原本需要 CPU 来进行的运算。

# 并行计算 #

GPU 是用来处理图形任务的图形处理器，其中一个非常大的优势在于它的并行处理能力。面对单指令流多数据流（SIMD），并且数据处理的运算量远大于数据调度和传输的需要时，GPU 的并行处理效率要高于传统的 CPU 的处理。

为了充分的利用 GPU 的并行处理能力，大部分的显卡厂商都推出了自己的 GPU 开发 SDK，比如：

*  NVIDIA —— CUDA
 *  Intel —— Intel® Media SDK
 *  AMD —— AMD APP SDK（前身是 ATI Stream）

当然这些厂商都是各自为阵，推出的 SDK 都是只能用于自己的显卡的 SDK，所以代码想要在不同的平台上能够统一是比较困难的。

## OpenCL ##

OpenCL（Open Computing Language，开放计算语言），是一个为异构平台编写程序的框架，此异构平台可由CPU，GPU或其他类型的处理器组成。这种语言主要是为了异构平台的并行运行设计的。

从本质上来说，它和 CDUA 等等 SDK 上是不同的，它是一种语言，相当于是 JAVA 语言这个级别，而后者是一个开发包，相当于 JDK 这个级别。

OpenCL 目前的语言规范已经到了 2.1（Preview），支持最好的 AMD 的 SDK，最新版本已经支持了 OpenCL 2.0，其他两个只支持 OpenCL 1.2。

OpenCL 提供了一个统一的 API，这个 API 在上述的厂商的 SDK 中都有实现。所以安装 CUDA 会包含 OpenCL 组件，它是英伟达对于 OpenCL 语言的一种实现。

# OpenCL API VS SDK #

OpenCL API 最大的优势在于它的跨平台，可以在不同的架构上运行，所以理论上它比 SDK 更有竞争力。但是它最大的问题在于它的 API Level 比较基础，直接使用它进行视频的编解码处理难度比较大。

此外 OpenCL API 的实现是依赖于底层的 GPU 架构的，不同的厂商提供了不同的实现，使用之前需要安装不同厂商提供的实现，从这个角度考虑 OpenCL 的跨平台并没有想象中那么完美。

SDK 的问题在于不同的厂商的 SDK 是不兼容的。但是它提供了比 OpenCL API 更加丰富的功能，比如 NVIDIA 直接提供了视频编解码相关的接口，使用起来会比 OpenCL API 更加的轻松。

# 英伟达硬件编解码方案 #

实现英伟达的 GPU 硬件编解码可以使用如下几种方案：

## 基于 OpenCL 的 API 自己写一个编解码器 ##

这的难度非常大，首先你需要对于 OpenCL API 非常的熟悉，其次你需要对于编解码的知识了解的非常透彻。这两个问题的任何一个都有非常大的难度，以目前已有的技术来说成功的概念不是特别大。

MainConcept 公司做了这件事情，它提供了基于 OpenCL 的 H264/AVC 编码器，但是这个编码器是商用的（此外它还提供了基于 CUDA 的编码器和基于 Intel QSV 的编解器，以及包装过前面几者的编码器）。

所以从技术可行性上来说这个是可行的，只是目前来说个人还不具备这个实力。

## 使用 SDK 中的编解码接口 ##

英伟达关于视频的编解码提供了两个相关的 SDK

*  NVENC
 *  NVCUVID

前者负责硬件编码，二后者负责硬件解码。

`NVENC` 是一个单独的 SDK，集成在最新的显卡驱动上面，安装最新的驱动之后可以找到相关的库文件。在 Ubuntu 14.04 中，可以在 `/usr/lib/nvidia-352/` 目录下面找到相关的库文件。

`NVCUVID` 是 `CUDA` 的组件，包含在最新的 `CUDA Toolkit` 中。不过在显卡的类库中可以找到 `libnvcuvid.so` 这个库文件。在之前版本的显卡驱动中其他还包含一个称之为 `NVCUVENC` 的硬件编码器和 `NVCUVID` 相对应，不过目前这个组件已经被 `NVENC` 替代了。

## 使用编码器对于 OpenCL 和 SDK 的封装 ##

这种方式是个人认为最理想的方式，**FFMPEG 目前存在一个编码器 `nvenc` 是对于英伟达的 `NVENC` 的封装，通过使用它可以和 FFMPEG 无缝的整合起来。**此外它也包含对于 `Intel QSV` 的封装。AMD 的相关接口目前没有找到相关的资料。

不过 FFMPEG 只存在 `NVENC` 的接口，不存在 `NVCUVID` 的封装。如果需要实现相关的解码器可能需要自己实现 FFMPEG 接口。

`libx264` 有对于 OpenCL 的封装，不过我在 windows 中尝试这个功能的时候并没有成功。

另外还存在一个开源的格式转换器 `HandBrake`，它包含对于 `Intel QuickSync` 的封装，以及使用 `OpenCL` 进行图象的拉伸处理和使用 `x264` 的 `opencl` 封装。这个项目缺点在于文档不是很丰富，研究起来有一定的难度。

====

# 英伟达硬件解码器分析 #

这篇文章主要分析 NVCUVID 提供的解码器，里面提到的所有的源文件都可以在英伟达的 `nvenc_sdk` 中找到。

# 解码器的代码分析 #

SDK 中的 sample 文件夹下的 NvTranscoder 中包含了编码器和解码器的用法，编码器的内容不在这里分析，因为 FFMPEG 中已经包含了相关的代码，不需要其他的处理。

解码器在 SDK 中有一份封装，主要是 NvTranscoder 下的 VideoDecoder 类。目前这个类的具体用法还不是特别的清楚。分析将会从 main 函数开始。

。。。。。

====

# 英伟达硬件加速解码器在 FFMPEG 中的使用 #

这篇文档介绍如何在 ffmpeg 中使用 nvenc 硬件编码器。

# 私有驱动 #

**`nvenc` 本身是依赖于 `nvidia` 底层的私有驱动的，所以想要使用编码器首先需要安装 `nvidia` 的私有驱动**。在 [NVIDIA VIDEO CODEC SDK][] 的介绍中说明，最新版本的 `nvenc sdk 5.0` 在 linux 需要 346.22 以上的驱动，在 windwos 下则需要 347.07 以上的驱动

> The latest NVENC SDK version available is 5.0, which requires NVIDIA GPU driver 347.09 or above for Windows and 346.22 or above for Linux.

目前 Ubuntu 15.04 上的驱动满足这个要求，Windows 平台可以直接到官网上下载最新的驱动安装。（个人不建议去官网下载最新的 Linux 驱动，因为我试了很多次都没有安装成功，最终会导致无法进入系统）。

在 Ubuntu 15.04 下使用下面的命令安装最新的驱动。

sudo apt-get install nvidia-346 \
                         nvidia-346-vum \
                         nvidia-modprobe \
                         nvidia-opencl-icd-346 \
                         nvidia-prime \
                         nvidia-settings

注意 `nvidia-modprobe` 必须要安装，因为私有驱动使用的内核模块，需要安装这个包在系统启动的时候加载这些内核模块。安装完成之后可能无法进入系统，这个应该是 `nvidia` 中的一个 `BUG`，你可以重启之后选择 `grub` 中的 `ubuntu 高级 选项` 中低版本的内核进入系统之后重启再选择高版本的内核进入系统。这一点非常的诡异，目前没有找到原因。

启动系统之后使用 **`lsmod | grep nvidia`** 应该会得到类似下面的结果：

nvidia_uvm             69632  0
    nvidia               8380416  36 nvidia_uvm
    drm                   348160  7 i915,drm_kms_helper,nvidia

直接通过 `sudo modprobe nvidia_uvm` 好像也无法成功的加载需要的模块。

**另外安装驱动安装完成之后会在 /dev 下面创建几个和 `nvidia` 相关的设备，通过 `ls /dev/nvidia*` 应该会得到类型以下的结果：**

/dev/nvidia0  /dev/nvidiactl  /dev/nvidia-uvm

# 编译 FFMPEG #

要想在 FFMPEG 中使用 `nvenc` 编码器，你需要在编译选项中加入 `enable-nvenc` 选项（老版本，新版本是自动检测，显示提供disable-nvenc的选项）。

这个选项依赖于 `nvEncodeAPI.h` 头文件，这个头文件并没有包含在私有驱动中，你需要到 [NVIDIA VIDEO CODEC SDK][] 中下载 SDK，解压后在 `Samples/common/inc`目录下有这个头文件，把它拷贝到可以链接到的目录中去。

之后编译就可以顺利的通过，得到包含 `nvenc` 编码器的库。

# 使用 nvenc #

FFMPEG 中直接使用 `av_find_encoder_by_name("nvenc")` 就可以找到这个这个编码器并使用它。`nvenc.c` 的 `pix_fmts_nvenc`变量定义来看，这个编码器应该是支持 `YUV420P`, `YUV444P` 和 `NV12` 三种格式的，但是测试的过程中发现 `YUV420P` 没办法使用，所以应该吧 `AVCodecContext` 的 `pix_fmt` 设置成 `NV12`。

==================

## NVENC ##

NVENC is an API developed by NVIDIA which enables the use of NVIDIA GPU cards to perform H.264 and HEVC(就是H.265) encoding. FFmpeg supports NVENC through the h264\_nvenc and hevc\_nvenc encoders. In order to enable it in FFmpeg you need:

*  A supported GPU
 *  Supported drivers
 *  ffmpeg configured without --disable-nvenc

Visit [NVIDIA Video Codec SDK][NVIDIA VIDEO CODEC SDK] to download the SDK and to read more about the supported GPUs and supported drivers.

Usage example:

ffmpeg -i input -c:v h264_nvenc -profile high444p -pixel_format yuv444p -preset default output.mp4

You can see available presets, other options, and encoder info with **ffmpeg -h encoder=h264\_nvenc** or **ffmpeg -h encoder=hevc\_nvenc**.

**Note:** If you get the No NVENC capable devices found error make sure you're encoding to a supported pixel format. See encoder info as shown above.

## CUDA/CUVID/NvDecode ##

CUVID, which is also called nvdec by Nvidia now, can be used for decoding on Windows and Linux. In combination with nvenc it offers full hardware transcoding.

CUVID offers decoders for H264, HEVC, MJPEG, mpeg1/2/4, vp8/9, vc1. Codec support varies by hardware. The full set of codecs being available only on Pascal hardware, which adds VP9 and 10 bit support.

While decoding 10 bit video is supported, it is not possible to do full hardware transcoding currently (See the partial hardware example below).

Sample decode using CUVID, the cuvid decoder copies the frames to system memory in this case:

ffmpeg -c:v h264_cuvid -i input output.mkv

Full hardware transcode with CUVID and NVENC:

ffmpeg -hwaccel cuvid -c:v h264_cuvid -i input -c:v h264_nvenc -preset slow output.mkv    红色解码，蓝色编码

Partial hardware transcode, with frames passed through system memory (This is necessary for transcoding 10bit content):

ffmpeg -c:v h264_cuvid -i input -c:v h264_nvenc -preset slow output.mkv

If ffmpeg was compiled with support for **libnpp**, it can be used to insert a GPU based scaler into the chain:

ffmpeg -hwaccel_device 0 -hwaccel cuvid -c:v h264_cuvid -i input -vf scale_npp=-1:720 -c:v h264_nvenc -preset slow output.mkv

The -**hwaccel\_device** option can be used to specify the GPU to be used by the cuvid hwaccel in ffmpeg.

===============

**HEVC 是 H264 的后继版本，又称 H265** , 高效视频编码(High Efficiency Video Coding)

./ffmpeg -encoders | grep nv

输出：

V..... h264\_nvenc NVIDIA NVENC H.264 encoder (codec h264)  
V..... nvenc NVIDIA NVENC H.264 encoder (codec h264)  
V..... nvenc\_h264 NVIDIA NVENC H.264 encoder (codec h264)  
V..... nvenc\_hevc NVIDIA NVENC hevc encoder (codec hevc)  
V..... hevc\_nvenc NVIDIA NVENC hevc encoder (codec hevc)

h264\_nvenc == nvenc == nvenc\_h264

nvenc\_hevc == hevc\_nvenc

[Link 1]: http://lib.csdn.net/base/datastructure
[NVIDIA VIDEO CODEC SDK]: https://developer.nvidia.com/nvidia-video-codec-sdk