番外2. OpenCV 中摄像头捕获与视频处理与常见问题解决方案

末蓝、 2022-08-29 10:04 153阅读 0赞

## 本系列专栏写作方式 ##

本系列专栏写作将采用首创的问答式写作形式，快速让你学习到 OpenCV 的初级、中级、高级知识。

## 2. OpenCV 中摄像头捕获与视频处理 ##

OpenCV 除了应用在图像处理领域外，还会应用到视频处理领域，接下来我们就将学习到，如何通过Python OpenCV 对摄像头捕获或者视频文件进行处理。

视频文件将从三个方向入手，分别是读取文件，显示视频，保存视频。

本文将为你核心解决以下2个函数：cv2.VideoCapture 与 cv2.VideoWrite，基于这2个函数，会衍生出其它相关函数，具体参照下文。

### 在 OpenCV 中操作摄像头相关注意事项和解决方案 ###

摄像头相较于视频，差异在一个是实时图像，一个是既定内容。如果想要捕获到视频，用到的是cv2.VideoCapture 函数，该函数的第一个参数是设备的索引号，如果你使用的是笔记本电脑，默认一般是0，表示的内置摄像头，如果链接了外置，可以修改该数字即可。

最简单的测试代码如下：

import cv2
    import numpy as np
    
    cap = cv2.VideoCapture(0)
    
    while True:
        ret, frame = cap.read()
    
        # 转变成灰度图
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    
        cv2.imshow("frame", gray)
        if cv2.waitKey() & 0xFF == ord("x"):
            break
    
    # 关闭摄像
    cap.release()
    cv2.destroyAllWindows()

该代码在运行时，如果你电脑未安装摄像头或者驱动异常，都会导致报错，例如下述BUG

error: (-215:Assertion failed) !_src.empty() in function 'cv::cvtColor'

该问题虽然报错出现在 cv2.cvtColor函数，但是原因是 `frame` 为空，即cap.read()读取失败导致的。

这里在实际编码过程中，需要增加一个判断，cap.read() 函数会返回一个状态布尔值，如果读取到数据，返回真，否则返回假，测试如下代码（下述代码的停止，需要按键盘上的CTRL+C ）：

import cv2
    import numpy as np
    
    cap = cv2.VideoCapture(0)
    
    while True:
        ret, frame = cap.read()
        print(ret)
    
    # 关闭摄像
    cap.release()
    cv2.destroyAllWindows()

测试完毕之后，我们修改本文一开始的代码，让其更加健壮。

while True:
        ret, frame = cap.read()
        if ret:
            # 转变成灰度图
            gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
            cv2.imshow("frame", gray)
            # pass ...

这里存在一个常见，但是及容易被忽视的问题，就是很多时候，**我们并不知道电脑上有没有摄像头，或者摄像头的设备号，该如何进行操作**。

你可以按照下述代码进行检测：

import cv2
    import numpy as np
    
    
    for cn_num in range(0, 5):
        cap = cv2.VideoCapture(cn_num)
        if cap.isOpened():
            break

以上代码运行的原理是，按照顺序依次打开设备 `0~5`，当发现摄像头被成功打开，返回跳出。

上述代码还提及了一个新的函数 cap.isOpened，该函数用来检测摄像头是否初始化（能被打开），初始化成功返回 True。

### 在 OpenCV 中操作视频文件相关注意事项和解决方案 ###

其实操作视频文件与操作摄像头操作基本一致，唯一修改的就是cv2.VideoCapture 函数设备号即可。

这里将设备号修改为视频文件路径。

接下来，我们先看一段代码，认识基本用法。

import numpy as np
    import cv2
    
    cap = cv2.VideoCapture('test.mp4')
    
    while cap.isOpened():
        ret, frame = cap.read()
        # gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        cv2.imshow('frame', frame)
        if cv2.waitKey(25) & 0xFF == 27:
            break
    
    cap.release()
    cv2.destroyAllWindows()

其中最需要注意的一个地方，不是 cv2.VideoCapture(‘test.mp4’) 函数读取文件，而是 cv2.waitKey(25)，这个地方需要设置好对应的视频，如果数值特别小，例如 `1`，视频就会快速播放，设置太高播放又会变慢，一般建议设置为 `25`。

当然，上述代码注释的部分，如果取消，就会变成一个灰度视频。

甚至可以直接将视频进行翻转，用到函数为：cv2.flip(frame, 0)，

import numpy as np
    import cv2 
    
    cap = cv2.VideoCapture('test.mp4')
    
    while cap.isOpened():
        ret, frame = cap.read()
        if ret == True:
            frame = cv2.flip(frame, 0)
    
            cv2.imshow('frame', frame)
            if cv2.waitKey(25) & 0xFF == 27:
                break
    
    cap.release()
    cv2.destroyAllWindows()

上述代码运行如下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA_size_16_color_FFFFFF_t_70]

接下来我们用视频来学习一下一些操作属性的方法。

cv2.VideoCapture.get(propId) 可以访问视频的某些功能，其中 propId 是一个从0到18的数字，每个数字表示视频的属性。

取值清单如下（该清单只作为查询参考使用）：

*  0 - cv2.CAP\_PROP\_POS\_MSEC： 视频文件的当前位置（ms）；
 *  1 - cv2.CAP\_PROP\_POS\_FRAMES：从0开始索引帧，帧位置；
 *  2 - cv2.CAP\_PROP\_POS\_AVI\_RATIO：视频文件的相对位置（0表示开始，1表示结束）；
 *  3 - cv2.CAP\_PROP\_FRAME\_WIDTH：视频流的帧宽度；
 *  4 - cv2.CAP\_PROP\_FRAME\_HEIGHT： 视频流的帧高度；
 *  5 - cv2.CAP\_PROP\_FPS：帧率；
 *  6 - cv2.CAP\_PROP\_FOURCC ： 编解码器四字符代码；
 *  7 - cv2.CAP\_PROP\_FRAME\_COUNT ：视频文件的帧数；
 *  8 - cv2.CAP\_PROP\_FORMAT：retrieve()返回的Mat对象的格式；
 *  9 - cv2.CAP\_PROP\_MODE ：后端专用的值，指示当前捕获模式；
 *  10 - cv2.CAP\_PROP\_BRIGHTNESS ：图像的亮度，仅适用于支持的相机；
 *  11 - cv2.CAP\_PROP\_CONTRAST ：图像对比度，仅适用于相机；
 *  12 - cv2.CAP\_PROP\_SATURATION：图像饱和度，仅适用于相机；
 *  13 - cv2.CAP\_PROP\_HUE：图像色调，仅适用于相机；
 *  14 - cv2.CAP\_PROP\_GAIN：图像增益，仅适用于支持的相机；
 *  15 - cv2.CAP\_PROP\_EXPOSURE：曝光，仅适用于支持的相机；
 *  16 - cv2.CAP\_PROP\_CONVERT\_RGB：布尔标志，指示是否应将图像转换为RGB；
 *  17 - cv2.CAP\_PROP\_WHITE\_BALANCE：目前不支持；
 *  18 - cv2.CAP\_PROP\_RECTIFICATION：立体摄像机的整流标志。

有了上述清单，可以获取视频较多的属性值了，例如获取宽度与高度。

cap = cv.VideoCapture('test.mp4')
    print("宽度：%s,高度：%s" % (cap.get(3), cap.get(4)))

有 get 方法，对应的就存在 set 函数，函数原型如下：

cap.set(propId，value) # 进行修改，value 是修改后的值

但这个地方要注意下，上面 set 函数只对采集摄像头有用，如果读取的是视频文件，上述内容就不在起作用了。

**如果你还是希望实现修改视频文件的窗口大小**，那可以使用下述方案。

cv2.namedWindow("frame", 0)
    cv2.resizeWindow("frame", 800,300)

如果想希望查看视频播放的当前位置、帧率、帧数，可以直接使用下述代码。

time = cap.get(cv2.CAP_PROP_POS_MSEC)
    fps = cap.get(cv2.CAP_PROP_FPS)
    total_frames = cap.get(cv2.CAP_PROP_FRAME_COUNT)

当然，使用属性值也可以。

time = cap.get(0)
    fps = cap.get(5)
    total_frames = cap.get(7)

### 在 OpenCV 中捕获视频并保存 ###

图片的保存使用函数 cv2.imwrite即可实现，但视频保存，需要与cv2.VideoCapture对应着，创建一个 VideoWriter对象，而且还需要确定文件的名称，视频 FourCC 编码，频率，帧大小，isColor标签，该标签如果为 True 则保存彩色图，否则是灰度图。

首先对 FourCC 进行一下说明，该编码是一个4字节码，表示的是视频编码格式。

例如对于 MJPG，它有两种写法。

注意这是 OpenCV 3 写法，网上现在大多数博客都是 OpenCV 2 写法。

cv2.VideoWriter_fourcc('M', 'J', 'P', 'G')
    cv2.VideoWriter_fourcc(*'MJPG')

常见编码说明：

*  MJPG编码器编码的视频非常大；
 *  X264 编码器编码的视频很小；
 *  XVID编码器优先选择，质量较高且体积较小。

cv2.VideoWriter函数原型如下：

cv2.VideoWriter( filename, fourcc, fps, frameSize[, isColor] )

相关参数：

*  filename：视频保存文件名称；
 *  fourcc：视频编解码器的4字节代码；
 *  fps：帧率；
 *  frameSize：帧大小；
 *  isColor：如果为True，则视频为彩色，否则为灰度视频，默认为True。

测试代码如下，代码之后跟相关问题的说明。

import numpy as np
    import cv2
    
    cap = cv2.VideoCapture("test.mp4")
    
    width = int(cap.get(3))
    height = int(cap.get(4))
    fps = cap.get(5)
    
    # FourCC 编码是 XVID
    fourcc = cv2.VideoWriter_fourcc(*'XVID')
    out = cv2.VideoWriter("test1.avi", fourcc, fps, (width, height))
    
    while 1:
        ret, frame = cap.read()
        if frame is None:
            break
        else:
            # 对每一帧都进行处理
            # frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
            out.write(frame)
            cv2.imshow("video", frame)
            k = cv2.waitKey(25) & 0xFF 
            if k == 27:
                break
    
    cap.release()
    out.release()
    cv2.destroyAllWindows()

在调用函数 `cv2.VideoWriter("test1.avi", fourcc, fps, (width, height))` 的时候，注意需要 `(width, height)` 必须是整数，需要强制转换一下。

其中 20 是 fps ，如果想保存成灰度视频，按照下述代码修改即可。

out = cv2.VideoWriter("test1.avi", fourcc, fps, (width, height),False)
    # ......
    # 注意在读取每一帧的时候，都要转换成灰度图
    frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    # ......

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA_size_16_color_FFFFFF_t_70 1]

如果在编码时出现如下错误，注意是 `frameSize` 参数设置的问题

VideoWriter() missing required argument 'frameSize' (pos 5)

对应的代码位置按照如下修改即可

out = cv2.VideoWriter("test1.avi", fourcc, fps, (int(width), int(height)))

下一个常见的问题是，如果不是读取视频文件，直接采集的摄像头数据，使用 fps = cap.get(5) 是无法获取到具体的 fps 值的，此时只能进行手动设定。

该值的设定需要依据自己电脑的配置，一般设置为10~20即可。

本文章橡皮擦原为 [ebaina][] 社区写作，现补发到CSDN频道。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA_size_16_color_FFFFFF_t_70]: /images/20220829/fa1f0459236e43f4b73e37559f582abc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA_size_16_color_FFFFFF_t_70 1]: /images/20220829/d9604589f4d345a490292413d7f99167.png
[ebaina]: https://www.ebaina.com/articles/140000005512