番外4. Python OpenCV 中鼠标事件相关处理与常见问题解决方案

以你之姓@ 2022-09-03 14:28 137阅读 0赞

## 本系列专栏写作方式 ##

本系列专栏写作将采用首创的问答式写作形式，快速让你学习到 OpenCV 的初级、中级、高级知识。

## 4. Python OpenCV 中鼠标事件相关处理与常见问题解决方案 ##

本篇博客主要分析 cv2.setMouseCallback 函数，以及该函数在日常编码中出现问题是如何进行解决。

本函数主要是 OpenCV 中用来处理鼠标相关事件的函数，通过它可以捕获到数据触发的事件，并对其进行处理。

使用该函数前，可以先通过 help 函数查阅基本用法。

该函数原型如下：

setMouseCallback(windowName, onMouse [, param]) -> None

可以看到该函数有两个参数，其一是窗口的名称，其二是回调函数，窗口名称与cv2.imshow 中的名称保持一致即可。

通过函数原型，可以看出 cv2.setMouseCallback 函数是在给窗口设置一个回调函数。

### OpenCV 中鼠标都有哪些事件？ ###

查看事件的代码如下，通过内置函数 dir 可以进行查阅。

import cv2
    
    def show_event():
        events = [i for i in dir(cv2) if 'EVENT' in i]
        print(events)
    
    if __name__ == "__main__":
        show_event()

运行结果如下，所有与 event（事件相关的函数，都罗列了出来）

['EVENT_FLAG_ALTKEY', 'EVENT_FLAG_CTRLKEY', 'EVENT_FLAG_LBUTTON', 'EVENT_FLAG_MBUTTON', 'EVENT_FLAG_RBUTTON', 'EVENT_FLAG_SHIFTKEY', 'EVENT_LBUTTONDBLCLK', 'EVENT_LBUTTONDOWN',
    'EVENT_LBUTTONUP', 'EVENT_MBUTTONDBLCLK', 'EVENT_MBUTTONDOWN', 'EVENT_MBUTTONUP', 'EVENT_MOUSEHWHEEL', 'EVENT_MOUSEMOVE', 'EVENT_MOUSEWHEEL', 'EVENT_RBUTTONDBLCLK', 'EVENT_RBUTTONDOWN', 'EVENT_RBUTTONUP']

以上事件中，最常用的为 EVENT\_LBUTTONDOWN，EVENT\_LBUTTONUP，我们接下来就重点掌握。

**EVENT\_LBUTTONDOWN** 鼠标左键按下事件。

先通过以下代码呈现一个窗体，测试一下鼠标左键按下。

import cv2
    
    
    def show_event():
        events = [i for i in dir(cv2) if 'EVENT' in i]
        print(events)
    
    
    def mouse_handler(event, x, y, flags, userdata):
        if event == 1:   # cv2.EVENT_LBUTTONDOWN
            print("鼠标左键按下")
    
    
    if __name__ == "__main__":
    
        image = cv2.imread("./tt.jpg")
    
        cv2.namedWindow("mouse_event")
        cv2.imshow("mouse_event", image)
        cv2.setMouseCallback("mouse_event", mouse_handler)
        cv2.waitKey()

代码运行效果如下，在图片上点击鼠标左键，会在控制台进行数据的输入，输出内容如截图红框位置所示。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA_size_16_color_FFFFFF_t_70_pic_center]

此时需要注意的问题是，**即使你没有加载任何图片，只是使用 nameWindow 命名了一下窗体，对应的 setMouseCallback 函数也会绑定成功**，具体测试代码如下。

# image = cv2.imread("./tt.jpg")
    
    cv2.namedWindow("mouse_event")
    # cv2.imshow("mouse_event", image)
    cv2.setMouseCallback("mouse_event", mouse_handler)

由上面的案例，我们还能得到下述推论，cv2.setMouseCallback 函数中第二个参数回调函数onMouse ，具备某种格式，因为在上述代码中出现了这样一段内容：

def mouse_handler(event, x, y, flags, userdata):

这里其实对于所有鼠标事件，回调函数格式都是统一的，只是函数内部的具体实现不同。

参数说明如下：

*  event：鼠标事件名称，通过该值可以获取鼠标进行的何种事件操作；
 *  x, y：鼠标进行事件操作一瞬间，所在的坐标位置；
 *  flags：指的是与 event 相关的实践中包含 FLAG 的事件；
 *  userdata：鼠标回调函数触发时传递进来的参数。

以上参数都非常容易理解，但是目前网络上很多内容对 flags 参数都一带而过，没有进行说明。

该参数其实就是我们在上文获取到的所有事件的一个子集，在看一下之前获取到的所有事件。

在其中你重点寻找带 flag 的值，检索如下：

'EVENT_FLAG_ALTKEY',
    'EVENT_FLAG_CTRLKEY',
    'EVENT_FLAG_LBUTTON',
    'EVENT_FLAG_MBUTTON',
    'EVENT_FLAG_RBUTTON',
    'EVENT_FLAG_SHIFTKEY'

稍微对英文进行一下翻译，就能了解 flags 参数，例如我们想要实现按住鼠标左键的同时进行拖动，那核心代码为：

event == cv2.EVENT_MOUSEMOVE and flags == cv2.EVENT_FLAG_LBUTTON

按住键盘 CTRL 的同时，按下鼠标左键，代码如下

event == cv2.EVENT_LBUTTONUP and flags == cv2.EVENT_FLAG_CTRLKEY

接下来我们就实现一下如何按住鼠标左键并进行拖动，绘制一个矩形。

import cv2
    
    image = cv2.imread("./tt.jpg")
    cv2.namedWindow("mouse_event")
    x1, y1 = 0, 0
    
    
    def show_event():
        events = [i for i in dir(cv2) if 'EVENT' in i]
        print(events)
    
    
    def mouse_handler(event, x, y, flags, userdata):
        global x1, y1
        if event == cv2.EVENT_LBUTTONDOWN:
            print("左键点击")
            x1, y1 = x, y
    
        if event == cv2.EVENT_MOUSEMOVE and flags == cv2.EVENT_FLAG_LBUTTON:
            # print("鼠标左键按下拖动")
            cv2.rectangle(image, (x1, y1), (x, y), (0, 255, 0), -1)
    
    
    if __name__ == "__main__":
        cv2.setMouseCallback("mouse_event", mouse_handler)
        while True:
            cv2.imshow("mouse_event", image)
            k = cv2.waitKey(1) & 0xFF
            if k == 27:
                break
    
        cv2.destroyAllWindows()

上述代码，并未用到最后一个参数 userdata，接下来我们通过传参的方式应用一下该参数。

核心修改一个地方即可，在 cv2.setMouseCallback 函数部分将读取的图像 `image` 传递到回调的函数中去，具体如下

cv2.setMouseCallback("mouse_event", mouse_handler, image)

### OpenCV 在视频中捕获鼠标事件的解决方案 ###

上文已经实现了在图片中捕获鼠标事件，接下来我们看一下如何去在视频中进行相同的操作。

由以前的知识已经知道，视频处理就是对视频的每一帧进行相应的操作，那可以按照下述代码进行。

import cv2
    
    
    def mouse_handler(event, x, y, flags, frame):
    
        if frame is not None:
            # 获取坐标，测试用
            # print(x, y)
            if event == cv2.EVENT_MOUSEMOVE:
                cv2.putText(frame, "Hello OpenCV", (x, y),
                            cv2.FONT_HERSHEY_COMPLEX, 1, (255, 0, 0))
                cv2.imshow("video", frame)
    
    
    if __name__ == "__main__":
    
        cap = cv2.VideoCapture("./test.mp4")
        while cap.isOpened():
            ret, frame = cap.read()
            if ret:
                cv2.imshow("video", frame)
                cv2.setMouseCallback("video", mouse_handler, frame)
                if cv2.waitKey(25) & 0xFF == 27:
                    break
    
        cap.release()
        cv2.destroyAllWindows()

以上代码因为绑定在 EVENT\_MOUSEMOVE 事件上，所以当鼠标移动的时候，会出现一个 `Hello OpenCV` 的字样，但是该方式会导致视频不断重复渲染，效率不好，频繁刷新几次之后，页面就会崩溃掉。

如果你单纯为了测试，可以将 cv2.waitKey(25) 中的数字设置到 1000，这样视频播放速度就会变慢，即可抓取到最终效果。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA_size_16_color_FFFFFF_t_70_pic_center 1]

对于鼠标回调函数的学习，重点要掌握的依旧是各种事件，还有一个需要注意的是组合按键与鼠标位置的计算，你可以基于此实现一个简单的 OpenCV 画板，当然前提是你对之前学的图形绘制函数已经十分熟悉。

### 补充知识，OpenCV 绘制多边形 ###

在 [上一篇博客][Link 1] 中，我们缺少了一个函数，绘制多边形，这里进行一下补充，该函数为 cv2.polylines，函数原型如下：

polylines(img, pts, isClosed, color[, thickness[, lineType[, shift]]]) -> img

其中最重要的参数 pts，该参数表示待绘制多边形的折线数组，也可以理解为多边形的顶点顺序坐标。

例如下述代码：

image = np.zeros((400, 400, 3), np.uint8)
    points = np.array(
        [[50, 50], [170, 100], [200, 150], [300, 320]], np.int32)
    cv2.polylines(image, [points], True, (255, 0, 0))
    cv2.imshow('image',image)
    cv2.waitKey()

绘制的多边形如下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA_size_16_color_FFFFFF_t_70_pic_center 2]

最后，你可以结合本文学到的 cv2.setMouseCallback 函数，加上绘制直线函数，实现一个多边形手动绘制工具。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA_size_16_color_FFFFFF_t_70_pic_center]: /images/20220829/47d0fb17451549e3b2664aa1a5acda94.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20220829/7162c1fbddbb439e9985e1cd1928c964.png
[Link 1]: https://dream.blog.csdn.net/article/details/119492274
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20220829/de349eee2cf34a6f92df593cb1cc0b8a.png