v4l2的学习建议和流程解析

偏执的太偏执、 2022-05-19 12:50 113阅读 0赞

# [v4l2的学习建议和流程解析][v4l2] #

v4l2，一开始听到这个名词的时候，以为又是一个很难很难的模块，涉及到视频的处理，后来在网上各种找资料后，才发现其实v4l2已经分装好了驱动程序，只要我们根据需要调用相应的接口和函数，从而实现视频的获取和处理。只要认真的看几篇文章就对v4l2有一定的了解了，由于是第一次接触，网上的资料良莠不齐，难得可以找到几篇自己感觉很不错的。记录下来：（没必要看太多，很多都是一样的意思）

[http://www.embedu.org/Column/Column320.htm][http_www.embedu.org_Column_Column320.htm] **这篇是不错的介绍，很讨厌有弹窗**

[http://www.cnblogs.com/emouse/archive/2013/03/04/2943243.html][http_www.cnblogs.com_emouse_archive_2013_03_04_2943243.html] **这个可以作为第一篇来看，博主整理的不错**

[http://blog.chinaunix.net/uid-11765716-id-2855735.html][http_blog.chinaunix.net_uid-11765716-id-2855735.html] **这篇也比较详细**

[http://blog.csdn.net/ddddwant/article/details/8475211][http_blog.csdn.net_ddddwant_article_details_8475211] **这篇提到的问题和我遇到的一样，花屏了，内存没有读取好**

[http://my.oschina.net/u/1024767/blog/210801\#OSC\_h2\_14][http_my.oschina.net_u_1024767_blog_210801_OSC_h2_14] **对capture.c文件的解读**

[http://blog.csdn.net/g\_salamander/article/details/8107692][http_blog.csdn.net_g_salamander_article_details_8107692] **对各个结构体有比较好的说明**

## **一、Video for Linux two** ##

v4l2为linux下视频设备程序提供了一套接口规范。包括一套数据结构和底层V4L2驱动接口。只能在linux下使用。它使程序有发现设备和操作设备的能力。它主要是用一系列的回调函数来实现这些功能。像设置摄像头的频率、帧频、视频压缩格式和图像参数等等。当然也可以用于其他多媒体的开发，如音频等。

在Linux下，所有外设都被看成一种特殊的文件，成为“设备文件”，可以象访问普通文件一样对其进行读写。一般来说，采用V4L2驱动的摄像头设备文是/dev/v4l/video0。为了通用，可以建立一个到/dev/video0的链接。V4L2支持两种方式来采集图像：内存映射方式(mmap)和直接读取方式(read)。V4L2在include/linux/videodev.h文件中定义了一些重要的数据结构，在采集图像的过程中，就是通过对这些数据的操作来获得最终的图像数据。Linux系统V4L2的能力可在Linux内核编译阶段配置，默认情况下都有此开发接口。V4L2从Linux 2.5.x版本的内核中开始出现。

V4L2规范中不仅定义了通用API元素(Common API Elements)，图像的格式(Image Formats)，输入/输出方法(Input/Output)，还定义了Linux内核驱动处理视频信息的一系列接口(Interfaces)，这些接口主要有：

视频采集接口——Video Capture Interface;

视频输出接口—— Video Output Interface;

视频覆盖/预览接口——Video Overlay Interface;

视频输出覆盖接口——Video Output Overlay Interface;

编解码接口——Codec Interface。

## 二、v4l2结构体介绍 ##

1、常用的结构体在内核目录include/linux/videodev2.h中定义

struct v4l2\_requestbuffers //申请帧缓冲，对应命令VIDIOC\_REQBUFS  
struct v4l2\_capability //视频设备的功能，对应命令VIDIOC\_QUERYCAP  
struct v4l2\_input //视频输入信息，对应命令VIDIOC\_ENUMINPUT  
struct v4l2\_standard //视频的制式，比如PAL，NTSC，对应命令VIDIOC\_ENUMSTD  
struct v4l2\_format //帧的格式，对应命令VIDIOC\_G\_FMT、VIDIOC\_S\_FMT等  
struct v4l2\_buffer //驱动中的一帧图像缓存，对应命令VIDIOC\_QUERYBUF  
struct v4l2\_crop //视频信号矩形边框  
v4l2\_std\_id //视频制式

常用结构体的内容：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 </td> 
 <td> <code>struct</code>&nbsp;<code>v4l2_capability</code> &nbsp; <code>{ </code> &nbsp; <code>u8 driver[16];&nbsp;</code><code>// 驱动名字</code> &nbsp; <code>u8 card[32];&nbsp;</code><code>// 设备名字</code> &nbsp; <code>u8 bus_info[32];&nbsp;</code><code>// 设备在系统中的位置</code> &nbsp; <code>u32 version;&nbsp;</code><code>// 驱动版本号</code> &nbsp; <code>u32 capabilities;&nbsp;</code><code>// 设备支持的操作</code> &nbsp; <code>u32 reserved[4];&nbsp;</code><code>// 保留字段</code> &nbsp; <code>};</code> </td> 
 </tr> 
 </tbody> 
</table>

其中域 capabilities 代表设备支持的操作模式，常见的值有 V4L2\_CAP\_VIDEO\_CAPTURE | V4L2\_CAP\_STREAMING 表示是一个视频捕捉设备并且具有数据流控制模式；另外 driver 域需要和 struct video\_device 中的 name 匹配。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 </td> 
 <td> <code>struct</code>&nbsp;<code>v4l2_format {&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>enum</code>&nbsp;<code>v4l2_buf_type type;&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>union</code>&nbsp;<code>{&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>struct</code>&nbsp;<code>v4l2_pix_format&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; pix;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>/* V4L2_BUF_TYPE_VIDEO_CAPTURE */</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>struct</code>&nbsp;<code>v4l2_window&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; win;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>/* V4L2_BUF_TYPE_VIDEO_OVERLAY */</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>struct</code>&nbsp;<code>v4l2_vbi_format&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; vbi;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>/* V4L2_BUF_TYPE_VBI_CAPTURE */</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>struct</code>&nbsp;<code>v4l2_sliced_vbi_format&nbsp; sliced;&nbsp;&nbsp;</code><code>/* V4L2_BUF_TYPE_SLICED_VBI_CAPTURE */</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>__u8&nbsp;&nbsp; raw_data[200];&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>/* user-defined */</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>} fmt;&nbsp;</code> <code>};&nbsp;</code> &nbsp; <code>enum</code>&nbsp;<code>v4l2_buf_type {&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>V4L2_BUF_TYPE_VIDEO_CAPTURE&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 1,&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>V4L2_BUF_TYPE_VIDEO_OUTPUT&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 2,&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>V4L2_BUF_TYPE_VIDEO_OVERLAY&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 3,&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>...&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>V4L2_BUF_TYPE_PRIVATE&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 0x80,&nbsp;</code> <code>};&nbsp;</code> <code>&nbsp;&nbsp;</code>&nbsp; <code>struct</code>&nbsp;<code>v4l2_pix_format {&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>__u32&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; width;&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>__u32&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; height;&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>__u32&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; pixelformat;&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>enum</code>&nbsp;<code>v4l2_field&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; field;&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>__u32&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; bytesperline;&nbsp;&nbsp;&nbsp;</code><code>/* for padding, zero if unused */</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>__u32&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; sizeimage;&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>enum</code>&nbsp;<code>v4l2_colorspace&nbsp;&nbsp;&nbsp; colorspace;&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>__u32&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; priv;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>/* private data, depends on pixelformat */</code>&nbsp; <code>};</code> </td> 
 </tr> 
 </tbody> 
</table>

常见的捕获模式为 V4L2\_BUF\_TYPE\_VIDEO\_CAPTURE 即视频捕捉模式，在此模式下 fmt 联合体采用域 v4l2\_pix\_format：其中 width 为视频的宽、height 为视频的高、pixelformat 为视频数据格式（常见的值有 V4L2\_PIX\_FMT\_YUV422P | V4L2\_PIX\_FMT\_RGB565）、bytesperline 为一行图像占用的字节数、sizeimage 则为图像占用的总字节数、colorspace 指定设备的颜色空间。

struct v4l2\_requestbuffers 与 VIDIOC\_REQBUFS ，VIDIOC\_REQBUFS 命令通过结构 v4l2\_requestbuffers 请求驱动申请一片连续的内存用于缓存视频信息：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 </td> 
 <td> <code>struct</code>&nbsp;<code>v4l2_requestbuffers { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>__u32&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; count;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>enum</code>&nbsp;<code>v4l2_buf_type&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; type;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>enum</code>&nbsp;<code>v4l2_memory&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; memory;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>__u32&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; reserved[2];</code> <code>};</code> <code>enum</code>&nbsp;<code>v4l2_memory { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>V4L2_MEMORY_MMAP&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 1,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>V4L2_MEMORY_USERPTR&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 2,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>V4L2_MEMORY_OVERLAY&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 3,</code> <code>};</code> </td> 
 </tr> 
 </tbody> 
</table>

count 指定根据图像占用空间大小申请的缓存区个数，type 为视频捕获模式，memory 为内存区的使用方式。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 </td> 
 <td> <code>struct</code>&nbsp;<code>v4l2_buffer { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>__u32&nbsp;&nbsp; index;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>enum</code>&nbsp;<code>v4l2_buf_type&nbsp;&nbsp;&nbsp; type;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>__u32&nbsp;&nbsp;&nbsp; bytesused;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>__u32&nbsp;&nbsp;&nbsp; flags;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>enum</code>&nbsp;<code>v4l2_field&nbsp; field;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>struct</code>&nbsp;<code>timeval&nbsp;&nbsp;&nbsp; timestamp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>struct</code>&nbsp;<code>v4l2_timecode&nbsp;&nbsp; timecode;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>__u32&nbsp;&nbsp;&nbsp;&nbsp; sequence;</code> <code>&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>/* memory location */</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>enum</code>&nbsp;<code>v4l2_memory&nbsp;&nbsp;&nbsp; memory;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>union</code>&nbsp;<code>{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>__u32&nbsp;&nbsp; offset;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>unsigned&nbsp;</code><code>long</code>&nbsp;&nbsp;&nbsp;<code>userptr;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>} m;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>__u32&nbsp;&nbsp;&nbsp; length;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>__u32&nbsp;&nbsp;&nbsp; input;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>__u32&nbsp;&nbsp;&nbsp; reserved;</code> <code>};</code> </td> 
 </tr> 
 </tbody> 
</table>

index 为缓存编号

type 为视频捕获模式

bytesused 为缓存已使用空间大小

flags 为缓存当前状态（常见值有 V4L2\_BUF\_FLAG\_MAPPED | V4L2\_BUF\_FLAG\_QUEUED | V4L2\_BUF\_FLAG\_DONE，分别代表当前缓存已经映射、缓存可以采集数据、缓存可以提取数据）

timestamp 为时间戳

sequence为缓存序号

memory 为缓存使用方式

offset 为当前缓存与内存区起始地址的偏移

length 为缓存大小

reserved 一般用于传递物理地址值。

另外 VIDIOC\_QBUF 和 VIDIOC\_DQBUF 命令都采用结构 v4l2\_buffer 与驱动通信：VIDIOC\_QBUF 命令向驱动传递应用程序已经处理完的缓存，即将缓存加入空闲可捕获视频的队列，传递的主要参数为 index；VIDIOC\_DQBUF 命令向驱动获取已经存放有视频数据的缓存，v4l2\_buffer 的各个域几乎都会被更新，但主要的参数也是 index，应用程序会根据 index 确定可用数据的起始地址和范围。

2、常用的IOCTL接口命令也在include/linux/videodev2.h中定义

VIDIOC\_REQBUFS //分配内存  
VIDIOC\_QUERYBUF //把VIDIOC\_REQBUFS中分配的数据缓存转换成物理地址  
VIDIOC\_QUERYCAP //查询驱动功能  
VIDIOC\_ENUM\_FMT //获取当前驱动支持的视频格式  
VIDIOC\_S\_FMT //设置当前驱动的频捕获格式  
VIDIOC\_G\_FMT //读取当前驱动的频捕获格式  
VIDIOC\_TRY\_FMT //验证当前驱动的显示格式  
VIDIOC\_CROPCAP //查询驱动的修剪能力  
VIDIOC\_S\_CROP //设置视频信号的矩形边框  
VIDIOC\_G\_CROP //读取视频信号的矩形边框  
VIDIOC\_QBUF //把数据从缓存中读取出来  
VIDIOC\_DQBUF //把数据放回缓存队列  
VIDIOC\_STREAMON //开始视频显示函数  
VIDIOC\_STREAMOFF //结束视频显示函数  
VIDIOC\_QUERYSTD //检查当前视频设备支持的标准，例如PAL或NTSC。

## 三、调用v4l2的工作流程 ##

打开设备－> 检查和设置设备属性－> 设置帧格式－> 设置一种输入输出方法（缓冲 区管理）－> 循环获取数据－> 关闭设备。

**（1）打开设备文件**

打开视频设备非常简单，在V4L2中，视频设备被看做一个文件。使用open函数打开这个设备：

1. 用非阻塞模式打开摄像头设备

int cameraFd;

cameraFd = open("/dev/video0", O\_RDWR | O\_NONBLOCK);

2. 如果用阻塞模式打开摄像头设备，上述代码变为：

cameraFd = open("/dev/video0", O\_RDWR);

关于阻塞模式和非阻塞模式

应用程序能够使用阻塞模式或非阻塞模式打开视频设备，如果使用非阻塞模式调用视频设备，即使尚未捕获到信息，驱动依旧会把缓存（DQBUFF）里的东西返回给应用程序。

**（2）取得设备的capability**

struct v4l2\_capability capability；  
int ret = ioctl(fd, VIDIOC\_QUERYCAP, &capability);

看看设备具有什么功能，比如是否具有视频输入特性。

**（3）选择视频输入**

struct v4l2\_input input；  
……初始化input  
int ret = ioctl(fd, VIDIOC\_QUERYCAP, &input);

一个视频设备可以有多个视频输入。如果只有一路输入，这个功能可以没有。

VIDIOC\_G\_INPUT 和 VIDIOC\_S\_INPUT 用来查询和选则当前的 input，一个 video 设备节点可能对应多个视频源，比如 saf7113 可以最多支持四路 cvbs 输入，如果上层想在四个cvbs视频输入间切换，那么就要调用 ioctl(fd, VIDIOC\_S\_INPUT, &input) 来切换。VIDIOC\_G\_INPUT and VIDIOC\_G\_OUTPUT 返回当前的 video input和output的index.

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 </td> 
 <td> <code>struct</code>&nbsp;<code>v4l2_input { </code> <code>__u32 index;&nbsp;</code><code>/* Which input *</code> <code>/__u8 name[32]; /* Label */</code> <code>__u32 type;&nbsp;</code><code>/* Type of input */</code> <code>__u32 audioset;&nbsp;</code><code>/* Associated audios (bitfield) */</code> <code>__u32 tuner;&nbsp;</code><code>/* Associated tuner */</code> <code>v4l2_std_id std;</code> <code>__u32 status;</code> <code>__u32 reserved[4];</code> <code>};</code> </td> 
 </tr> 
 </tbody> 
</table>

**（4）检测视频支持的制式**

v4l2\_std\_id std;  
do \{  
ret = ioctl(fd, VIDIOC\_QUERYSTD, &std);  
\} while (ret == -1 && errno == EAGAIN);  
switch (std) \{  
case V4L2\_STD\_NTSC:  
//……  
case V4L2\_STD\_PAL:  
//……  
\}

**（5）设置视频捕获格式**

v4l2\_format 结构体用来设置摄像头的视频制式、帧格式等，在设置这个参数时应先填 好 v4l2\_format 的各个域，如 type（传输流类型），fmt.pix.width(宽)，fmt.pix.heigth(高)，fmt.pix.field(采样区域，如隔行采样)，fmt.pix.pixelformat(采样类型，如 YUV4:2:2)，然后通过 VIDIO\_S\_FMT 操作命令设置视频捕捉格式。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 </td> 
 <td> <code>struct</code>&nbsp;<code>v4l2_format fmt;</code> <code>memset</code><code>(&amp;fmt, 0,&nbsp;</code><code>sizeof</code><code>(fmt));</code> <code>fmt.type&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = V4L2_BUF_TYPE_VIDEO_CAPTURE;</code> <code>fmt.fmt.pix.width&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = g_display_width;</code> <code>fmt.fmt.pix.height&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = g_display_height;</code> <code>fmt.fmt.pix.pixelformat = g_fmt;</code> <code>fmt.fmt.pix.field&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = V4L2_FIELD_INTERLACED;</code> <code>/* 设置设备捕获视频的格式 */</code> <code>if</code><code>(ioctl(dev-&gt;fd, VIDIOC_S_FMT, &amp;fmt) &lt; 0)</code> <code>{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>printf</code><code>(stderr,&nbsp;</code><code>"%s iformat not supported \n"</code><code>,dev-&gt;dev);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>close(dev-&gt;fd);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>TFAIL;</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

**注意：**如果该视频设备驱动不支持你所设定的图像格式，视频驱动会重新修改struct v4l2\_format结构体变量的值为该视频设备所支持的图像格式，所以在程序设计中，设定完所有的视频格式后，要获取实际的视频格式，要重新读取struct v4l2\_format结构体变量。

**（6）向驱动申请帧缓存**

一般不超过5个，CAP\_BUF\_NUM = 4

v4l2\_requestbuffers结构中定义了缓存的数量，驱动会据此申请对应数量的视频缓存。多个缓存可以用于建立FIFO，来提高视频采集的效率。控制命令VIDIOC\_REQBUFS

功能： 请求V4L2驱动分配视频缓冲区（申请V4L2视频驱动分配内存），V4L2是视频设备的驱动层，位于内核空间，所以通过VIDIOC\_REQBUFS控制命令字申请的内存位于内核空间，应用程序不能直接访问，需要通过调用mmap内存映射函数把内核空间内存映射到用户空间后，应用程序通过访问用户空间地址来访问内核空间。

参数说明：参数类型为V4L2的申请缓冲区数据结构体类型struct v4l2\_requestbuffers ；

返回值说明： 执行成功时，函数返回值为 0；V4L2驱动层分配好了视频缓冲区；

**（7）获取每个缓存的信息，并mmap到用户空间**

应用程序和设备有三种交换数据的方法，直接 read/write、内存映射(memory mapping)和用户指针。这里只讨论内存映射(memory mapping)。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 </td> 
 <td> <code>typedef</code>&nbsp;<code>struct</code>&nbsp;<code>VideoBuffer {&nbsp;&nbsp;&nbsp;</code><code>//定义一个结构体来映射每个缓冲帧</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>void</code>&nbsp;<code>*start;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>size_t</code>&nbsp;<code>length;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>} VideoBuffer;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>VideoBuffer* buffers =&nbsp;</code><code>calloc</code><code>( req.count,&nbsp;</code><code>sizeof</code><code>(*buffers) );</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>struct</code>&nbsp;<code>v4l2_buffer buf;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>(numBufs = 0; numBufs &lt; req.count; numBufs++) { </code><code>//映射所有的缓存</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>memset</code><code>( &amp;buf, 0,&nbsp;</code><code>sizeof</code><code>(buf) );</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>buf.memory = V4L2_MEMORY_MMAP;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>buf.index = numBufs;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>(ioctl(fd, VIDIOC_QUERYBUF, &amp;buf) == -1) { </code><code>//获取到对应index的缓存信息，此处主要利用length信息及offset信息来完成后面的mmap操作。</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>-1;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>buffers[numBufs].length = buf.length;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>// 转换成相对地址</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>buffers[numBufs].start = mmap(NULL, buf.length,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>PROT_READ | PROT_WRITE,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>MAP_SHARED,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>fd, buf.m.offset);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>(buffers[numBufs].start == MAP_FAILED) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>-1;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>//addr 映射起始地址，一般为NULL ，让内核自动选择</code> <code>//length 被映射内存块的长度</code> <code>//prot 标志映射后能否被读写，其值为PROT_EXEC,PROT_READ,PROT_WRITE, PROT_NONE</code> <code>//flags 确定此内存映射能否被其他进程共享，MAP_SHARED,MAP_PRIVATE</code> <code>//fd,offset, 确定被映射的内存地址 返回成功映射后的地址，不成功返回MAP_FAILED ((void*)-1)</code> <code>int</code>&nbsp;<code>munmap(</code><code>void</code>&nbsp;<code>*addr,&nbsp;</code><code>size_t</code>&nbsp;<code>length);</code><code>// 断开映射</code> <code>//addr 为映射后的地址，length 为映射后的内存长度</code> </td> 
 </tr> 
 </tbody> 
</table>

**（8）开始采集视频 (在缓冲区处理好之后就可以获得视频了 )**

在开始之前，还应当把缓冲帧放入缓冲队列，应用程序和设备有三种交换数据的方法，直接 **read/write**、**内存映射(memory mapping)和用户指针**。这里只讨论内存映射(memory mapping)。

前期初始化完成后，只是解决了一帧视频数据的格式和大小问题，而连续视频帧数据的采集需要用帧缓冲区队列的方式来解决，即要通过驱动程序在内存中申请几个帧缓冲区来存放视频数据。

应用程序通过API接口提供的方法(VIDIOC\_REQBUFS)申请若干个视频数据的帧缓冲区，申请帧缓冲区数量一般不低于3个，每个帧缓冲区存放一帧视频数据，这些帧缓冲区在内核空间。

应用程序通过API接口提供的查询方法(VIDIOC\_QUERYBUF)查询到帧缓冲区在内核空间的长度和偏移量地址。

应用程序再通过内存映射方法(mmap)，将申请到的内核空间帧缓冲区的地址映射到用户空间地址，这样就可以直接处理帧缓冲区的数据。

(1)将帧缓冲区在视频输入队列排队，并启动视频采集

在驱动程序处理视频的过程中，定义了两个队列：视频采集输入队列(incoming queues)和视频采集输出队列(outgoing queues)，前者是等待驱动存放视频数据的队列，后者是驱动程序已经放入了视频数据的队列。如图2所示。

应用程序需要将上述帧缓冲区在视频采集输入队列排队(VIDIOC\_QBUF)，然后可启动视频采集。

(2)循环往复，采集连续的视频数据

启动视频采集后，驱动程序开始采集一帧数据，把采集的数据放入视频采集输入队列的第一个帧缓冲区，一帧数据采集完成，也就是第一个帧缓冲区存满一帧数据后，驱动程序将该帧缓冲区移至视频采集输出队列，等待应用程序从输出队列取出。驱动程序接下来采集下一帧数据，放入第二个帧缓冲区，同样帧缓冲区存满下一帧数据后，被放入视频采集输出队列。

应用程序从视频采集输出队列中取出含有视频数据的帧缓冲区，处理帧缓冲区中的视频数据，如存储或压缩。

最后，应用程序将处理完数据的帧缓冲区重新放入视频采集输入队列,这样可以循环采集，如图1所示。

![20110215120200245.jpg][]

**（9）取出FIFO缓存中已经采样的帧缓存**

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 </td> 
 <td> <code>struct</code>&nbsp;<code>v4l2_buffer capture_buf；</code> <code>memset</code><code>(&amp;capture_buf, 0,&nbsp;</code><code>sizeof</code><code>(capture_buf));</code> <code>capture_buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;</code> <code>capture_buf.memory = V4L2_MEMORY_MMAP;</code> <code>/* 将已经捕获好视频的内存拉出已捕获视频的队列 */</code> <code>if</code>&nbsp;<code>(ioctl(dev.fd, VIDIOC_DQBUF, &amp;capture_buf) &lt; 0)</code> <code>&nbsp;</code><code>{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>printf</code><code>(</code><code>"ERROR: VIDIOC_DQBUF[%s], FUNC[%s], LINE[%d]\n"</code><code>, dev, __FUNCTION__, __LINE__);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>TFAIL;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>}</code> &nbsp; <code>image_data_handle(buffer[capture_buf.index].start, capture_buf.bytesused);</code> </td> 
 </tr> 
 </tbody> 
</table>

**（10）将刚刚处理完的缓冲重新入队列尾，这样可以循环采集**

if (ioctl(fd, VIDIOC\_QBUF, &buf) == -1) \{  
return -1;  
\}

**（11）停止视频的采集，解除映射**

int ret = ioctl(fd, VIDIOC\_STREAMOFF, &buf\_type);

munmap(buffer[j].start, buffer[j].length);

**（12）关闭视频设备**

close(fd);

最后这个是一般mmap形式的使用流程，还有使用read/write方式的内存读写流程，具体的可以参考官方的capture.c这个文档，程序的流程很清楚，也有相关的博文有写到。

**文字描述版流程：**

(1)打开视频设备文件。int fd=open("/dev/video0",O\_RDWR);

(2)查询视频设备的能力，比如是否具有视频输入,或者音频输入输出等。ioctl(fd\_v4l, VIDIOC\_QUERYCAP, &cap)

(3)设置视频采集的参数

设置视频的制式，制式包括PAL/NTSC，使用ioctl(fd\_v4l, VIDIOC\_S\_STD, &std\_id)

设置视频图像的采集窗口的大小，使用ioctl(fd\_v4l, VIDIOC\_S\_CROP, &crop)

设置视频帧格式，包括帧的点阵格式，宽度和高度等，使用ioctl(fd\_v4l, VIDIOC\_S\_FMT, &fmt)

设置视频的帧率，使用ioctl(fd\_v4l, VIDIOC\_S\_PARM, &parm)

设置视频的旋转方式，使用ioctl(fd\_v4l, VIDIOC\_S\_CTRL, &ctrl)

(4)向驱动申请视频流数据的帧缓冲区

请求/申请若干个帧缓冲区，一般为不少于3个,使用ioctl(fd\_v4l, VIDIOC\_REQBUFS, &req)

查询帧缓冲区在内核空间中的长度和偏移量 ioctl(fd\_v4l, VIDIOC\_QUERYBUF, &buf)

(5)应用程序通过内存映射，将帧缓冲区的地址映射到用户空间，这样就可以直接操作采集到的帧了，而不必去复制。

buffers\[i\].start = mmap (NULL, buffers\[i\].length, PROT\_READ | PROT\_WRITE, MAP\_SHARED, fd\_v4l, buffers\[i\].offset);

(6)将申请到的帧缓冲全部放入视频采集输出队列，以便存放采集的数据。ioctl (fd\_v4l, VIDIOC\_QBUF, &buf)

(7)开始视频流数据的采集。 ioctl (fd\_v4l, VIDIOC\_STREAMON, &type)

(8) 驱动将采集到的一帧视频数据存入输入队列第一个帧缓冲区，存完后将该帧缓冲区移至视频采集输出队列。

(9)应用程序从视频采集输出队列中取出已含有采集数据的帧缓冲区。ioctl (fd\_v4l, VIDIOC\_DQBUF, &buf) ，应用程序处理该帧缓冲区的原始视频数据。

(10)处理完后，应用程序的将该帧缓冲区重新排入输入队列,这样便可以循环采集数据。ioctl (fd\_v4l, VIDIOC\_QBUF, &buf)

重复上述步骤8到10，直到停止采集数据。

(11)停止视频的采集。ioctl (fd\_v4l, VIDIOC\_STREAMOFF, &type)

(12)释放申请的视频帧缓冲区unmap，关闭视频设备文件close(fd\_v4l)。

以上的程序流程，包含了视频设备采集连续的视频数据的逻辑关系。而在实际运用中，往往还要加入对视频数据进行处理(如压缩编码)的工作，否则，视频流数据量相当大，需要很大的存储空间和传输带宽。

[v4l2]: https://www.cnblogs.com/silence-hust/p/4464291.html
[http_www.embedu.org_Column_Column320.htm]: http://www.embedu.org/Column/Column320.htm
[http_www.cnblogs.com_emouse_archive_2013_03_04_2943243.html]: http://www.cnblogs.com/emouse/archive/2013/03/04/2943243.html
[http_blog.chinaunix.net_uid-11765716-id-2855735.html]: http://blog.chinaunix.net/uid-11765716-id-2855735.html
[http_blog.csdn.net_ddddwant_article_details_8475211]: http://blog.csdn.net/ddddwant/article/details/8475211
[http_my.oschina.net_u_1024767_blog_210801_OSC_h2_14]: http://my.oschina.net/u/1024767/blog/210801#OSC_h2_14
[http_blog.csdn.net_g_salamander_article_details_8107692]: http://blog.csdn.net/g_salamander/article/details/8107692
[20110215120200245.jpg]: /images/20220519/dd0c56782e7344038d86d9b685f86adb.png