【2019.07.10】python + OpenCV + adb 实现自动微信跳一跳

叁歲伎倆 2021-12-11 07:09 319阅读 0赞

采用python + OpenCV + adb的方案实现实心跳一跳  
分四步走

1.  模板匹配：通过OpenCV 获取到跳块中心点的坐标  
    `# 使用标准相关系数匹配，1表示完美匹配， -1表示糟糕匹配， 0表示没有任何相关性 result = cv2.matchTemplate(img, temple, cv2.TM_CCOEFF_NORMED)`  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70]
2.  边缘检测：通过OpenCV判断下一跳方块的中心坐标  
    这里用到了 高斯模糊  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 1]
3.  计算距离：根据目标中心点和跳块中心点的坐标，勾股定理，计算出距离  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 2]  
    4.adb 跳动  
    涉及到3个ADB命令
    
    1.  手机截图`adb shell /system/bin/screencap -p /sdcard/screencap.png`
    2.  把手机截图发送到电脑上`adb pull /sdcard/screencap.png screencap.png`
    3.  模拟长按手机屏幕 adb shell input swipe 坐标 坐标 时间

# 执行代码 #

1.  手机进入USB调试模式，打开跳一跳小程序，到开始按手机跳动的页面
2.  电脑adb环境正常
3.  直接执行 `jump_跳一跳.py`

# 代码 #

**Github项目地址**`https://github.com/ybsdegit/wechat_jump`  
或[点击前往Github][Github]

## 1. 模板匹配 ##

import time
    
    import cv2
    
    # 读取待检测图像
    img = cv2.imread('game1.png', 0)
    # 读取模板图像
    temple = cv2.imread('temple.png', 0)
     # 显示灰度处理后的待检测图像
     cv2.namedWindow('sample', 0)
     cv2.resizeWindow('sample', 400, 600)
     cv2.imshow('sample', img)
    
     # 显示灰度处理后的模板图像
     cv2.namedWindow('target', 0)
     cv2.resizeWindow('target', 400, 600)
     cv2.imshow('target', temple)
     cv2.waitKey(0)
    
    
    # 获取模板图像的高和宽
    th, tw = temple.shape[:2]
    # print(th, tw)
    
    # 使用标准相关系数匹配，1表示完美匹配， -1表示糟糕匹配， 0表示没有任何相关性
    result = cv2.matchTemplate(img, temple, cv2.TM_CCOEFF_NORMED)
    
    # TM_CCOEFF_NORMED 方法处理后的结果图像
     cv2.namedWindow('match_r', 0)
     cv2.resizeWindow('match_r', 400, 600)
     cv2.imshow('match_r', result)
     cv2.waitKey(10)
    
    # 使用函数 minMaxloc, 确定匹配结果矩阵的最大值和最小值（val），以及它们的位置（loc）
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)
    # 此处选取最大值的位置，为图像的左上角
    t1 = max_loc
    # 获取图像的右下角
    br = (t1[0] + tw, t1[1] + th)
    # 绘制矩形框
    cv2.rectangle(img, t1, br, (0,0,225),2)
    print("矩形框坐标",t1,br)
    t_x_center = (t1[0]+br[0]) // 2
    t_y_center = int(max_loc[1]*0.25 + br[1]*0.75)
    print(f"跳块中心点坐标({t_x_center},{t_y_center})")
    # 绘制以方块中心点为圆心的圆
    cv2.circle(img, (t_x_center, t_y_center), 33, (255, 0, 0), 3)
    
    cv2.namedWindow('result', 0)
    cv2.resizeWindow('result', 400, 600)
    cv2.imshow('result', img)
    
    # 设置显示窗口
    cv2.namedWindow('match', 0)
    cv2.resizeWindow('match', 400, 600)
    # 显示窗口
    cv2.imshow('match', img)
    
    # 结束
    cv2.waitKey(0)
    cv2.destroyAllWindows()

## 2.边缘检测 ##

import cv2
    import numpy as np
    
    # 读取原图像
    img = cv2.imread('game.png', 0)
    
    # 显示原图像
    cv2.namedWindow('img', 0)
    cv2.resizeWindow('img', 400, 600)
    cv2.imshow('img', img)
    
    # 高斯模糊
    img_rgb = cv2.GaussianBlur(img, (5,5), 0)
    canny_img = cv2.Canny(img_rgb, 1, 10)
    
    # 显示边缘检测图像
    cv2.namedWindow('canny', 0)
    cv2.resizeWindow('canny', 400, 600)
    cv2.imshow('canny', canny_img)
    
    
    
    # 输出边缘检测图像的高和宽
    H, W = canny_img.shape
    print(H, W)
    
    # 第一个顶点的高度，row为列表（代表每一行的像素值）， max(row) 获取列表中最大的像素值
    # 对图像高度大于400的行进行遍历（这样可以去除上方数字以及小程序块的影响）。
    # np.nonzero() 表示获取列表元素数值不为0的位置，
    y_top = np.nonzero([max(row) for row in canny_img[420:]])[0][0] + 420
    print('y_top: ',y_top)
    
    
    # 获取第一个顶点的宽度值
    x_top = int(np.mean(np.nonzero(canny_img[y_top])))
    print('x_top: ',x_top)
    
    # 跳过小白圈，然后遍历
    y_bottom = y_top + 125
    for row in range(y_bottom, H):
        if canny_img[row, x_top] != 0:
            y_bottom = row
            break
    
    # 得到方块的中心点
    x_center, y_center = x_top, (y_top + y_bottom)//2
    
    # 绘制以方块中心点为圆心的圆
    cv2.circle(canny_img, (x_center, y_center), 33, (255, 0, 0), 3)
    
    cv2.namedWindow('result', 0)
    cv2.resizeWindow('result', 400, 600)
    cv2.imshow('result', canny_img)
    
    print(f"目标方块中心点({x_center},{y_center})",)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

# 全部代码 #

#!/usr/bin/env python
    # encoding: utf-8
    # @software: PyCharm
    # @time: 2019/7/10 15:39
    # @author: Paulson●Wier
    # @file: jump_跳一跳.py
    # @desc:
    import os
    import random
    import time
    
    import cv2
    import numpy as np
    
    
    def get_screenshot():
        # 截取手机的屏幕
        os.system('adb shell /system/bin/screencap -p /sdcard/screencap.png')
        # 把模拟器里面的文件传到电脑上
        os.system('adb pull /sdcard/screencap.png screencap.png')
    
    
    def get_start(img):
        """ 模板匹配,获取跳一跳起点的位置参数(小跳棋) :param img:跳一跳当前图片 :return 跳块中心点坐标(x,y) """
        # 使用标准相关系数匹配，1表示完美匹配， -1表示糟糕匹配， 0表示没有任何相关性
        result = cv2.matchTemplate(img, temple, cv2.TM_CCOEFF_NORMED)
        # 使用函数 minMaxloc, 确定匹配结果矩阵的最大值和最小值（val），以及它们的位置（loc）
        min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)
        # 此处选取最大值的位置，为图像的左上角
        t1 = max_loc
        # 获取图像的右下角
        br = (t1[0] + tw, t1[1] + th)
        t_x_center = (t1[0] + br[0]) // 2
        t_y_center = int(max_loc[1] * 0.25 + br[1] * 0.75)
        print(f"跳块中心点坐标({t_x_center},{t_y_center})")
        return t_x_center, t_y_center
    
    
    def get_next(img):
        """ 获取下一跳目标方块中心点坐标 :param img: :return: """
        # 高斯模糊
        img_rgb = cv2.GaussianBlur(img, (5, 5), 0)
        canny_img = cv2.Canny(img_rgb, 1, 10)
        # 输出边缘检测图像的高和宽
        H, W = canny_img.shape
        # 第一个顶点的高度，row为列表（代表每一行的像素值）， max(row) 获取列表中最大的像素值
        # 对图像高度大于400的行进行遍历（这样可以去除上方数字以及小程序块的影响）。
        # np.nonzero() 表示获取列表元素数值不为0的位置，
        y_top = np.nonzero([max(row) for row in canny_img[420:]])[0][0] + 420
    
        # 获取第一个顶点的宽度值
        x_top = int(np.mean(np.nonzero(canny_img[y_top])))
    
        # 跳过小白圈，然后遍历
        y_bottom = y_top + 125
        for row in range(y_bottom, H):
            if canny_img[row, x_top] != 0:
                y_bottom = row
                break
    
        # 得到方块的中心点
        x_center, y_center = x_top, (y_top + y_bottom) // 2
        print(f"目标方块中心点({x_center},{y_center})",)
        return x_center, y_center
    
    
    def game_over(img):
        """ 模板匹配,检测是否要将程序结束 """
        # 如果在游戏截图中匹配到带"再玩一局"字样的模板，则循环中止
        res_end = cv2.matchTemplate(img, temp_end, cv2.TM_CCOEFF_NORMED)
        if cv2.minMaxLoc(res_end)[1] > 0.95:
            print('Game over!')
            return True
    
    
    def jump(distance, flag=1.35):
        # 设置按压时间,系数为默认为1.35
        press_time = int(distance * flag)
    
        # 生成随机手机屏幕模拟触摸点,防止成绩无效
        # 生成随机整数(0-9),最终数值为(0-90)
        rand = random.randint(0, 9) * 10
    
        # adb长按操作,即在手机屏幕上((320-410),(410-500))坐标处长按press_time毫秒
        cmd = ('adb shell input swipe %i %i %i %i ' + str(press_time)) % (320 + rand, 410 + rand, 320 + rand, 410 + rand)
    
        # 输出adb命令
        print(cmd)
    
        # 执行adb命令
        os.system(cmd)
    
    
    def main():
        i = 0
        while True:
            # 将安卓手机上的截图移到电脑当前文件夹下
            i += 1
            get_screenshot()
            # 读取截图图像
            img = cv2.imread('screencap.png', 0)
            if game_over(img):
                print(f"第{i-1}次跳动失败")
                break
            print(f"第{i-1}次跳动成功")  # 提示上一次跳动是否成功
            begin_x, begin_y = get_start(img)
            target_x, target_y = get_next(img)
            distance = ((begin_x-target_x)**2 + (begin_y-target_y)**2) ** 0.5
    
            # 将起点位置绘制出来,一个圆
            cv2.circle(img, (begin_x, begin_y), 20, 255, -1)
            # 将终点位置绘制出来,一个圆
            img_end = cv2.circle(img, (target_x, target_y), 20, 188, -1)
            # 保存图片
            cv2.imwrite('last.png', img_end)
    
            # 根据获得的距离来设置按压时长
            jump(distance)
            time.sleep(1.3)
    
    
    if __name__ == '__main__':
        # 游戏结束的模板图像
        temp_end = cv2.imread('end.jpg', 0)
        # 读取小跳棋模板图像
        temple = cv2.imread('temple.png', 0)
        # 获取小跳棋模板图像的高和宽
        th, tw = temple.shape[:2]
        main()

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70]: /images/20211211/65f68a072cfe4c3b8bfff13453572463.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 1]: /images/20211211/5825366e4fac45e6bb9422cc7ea185b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 2]: /images/20211211/caa8e53605e4496097648192e0f67c90.png
[Github]: https://github.com/ybsdegit/wechat_jump