APP爬虫--appium提取数据

不念不忘少年蓝@ 2023-01-11 13:00 147阅读 0赞

## 利用appium自动控制移动设备并提取数据 ##

##### 学习目标 #####

1.  了解 appium-python-client模块定位元素以及提取其文本内容的方法
2.  了解 appium-python-client模块控制滑动动作的方法

--------------------

> 以控制抖音app滑动并获取抖音短视频发布者昵称和点赞数等信息为例

### 2.1 安装appium-python-client模块并启动已安装好的环境 ###

#### 2.1.1 安装appium-python-client模块 ####

在window的虚拟环境下执行`pip install appium-python-client`

#### 2.1.2 启动夜神模拟器，进入夜神模拟器所在的安装路径的bin目录下，进入cmd终端，使用adb命令建立adb server和模拟器的连接 ####

1.  `adb devices`

C:\Program Files (x86)\Nox\bin>adb devices
    List of devices attached
    * daemon not running; starting now at tcp:5037
    * daemon started successfully

1.  `nox_adb.exe connect 127.0.0.1:62001`

C:\Program Files (x86)\Nox\bin>nox_adb.exe connect 127.0.0.1:62001
    already connected to 127.0.0.1:62001

1.  `adb devices`

C:\Program Files (x86)\Nox\bin>adb devices
    List of devices attached
    127.0.0.1:62001 device

#### 2.1.3 启动appium-desktop，点击start server启动appium服务 ####

[Appium] Welcome to Appium v1.10.0
    [Appium] Appium REST http interface listener started on 0.0.0.0:4723

#### 2.1.4 利用上一小节所学习的内容获取Desired Capabilities参数 ####

1.  获取模拟设备的型号
    
     *  打开设置——关于平板电脑
     *  查看型号，获取模拟设备的型号
2.  获取app包名称 以及 app进程名
    
     *  打开模拟器中的抖音短视频app
     *  在adb连接正确的情况下，在夜神模拟器安装目录的bin目录下的cmd中输入`adb shell`
     *  进入adb shell后输入 `dumpsys activity | grep mFocusedActivity`
     *  \`\`com.ss.android.ugc.aweme\`就是app包名
     *  `.main.MainActivity`就是进程名 注意前边有个点.

### 2.2 初始化以及获取移动设备分辨率 ###

> 完成代码如下，并运行代码查看效果：如果模拟器中抖音app被启动，并打印出模拟设备的分辨率则成功

from appium import webdriver
    
    # 初始化配置，设置Desired Capabilities参数
    desired_caps = {
        
        'platformName': 'Android',
        'deviceName': 'SM-G955F',
        'appPackage': 'com.ss.android.ugc.aweme',
        'appActivity': '.main.MainActivity'
    }
    # 指定Appium Server
    server = 'http://localhost:4723/wd/hub'
    # 新建一个driver
    driver = webdriver.Remote(server, desired_caps)
    # 获取模拟器/手机的分辨率(px)
    width = driver.get_window_size()['width']
    height = driver.get_window_size()['height']
    print(width, height)

*  移动设备分辨率
    
     *  driver.get\_window\_size()\[‘width’\]
     *  driver.get\_window\_size()\[‘height’\]

### 2.3 定位元素以及提取文本的方法 ###

#### 2.3.1 点击appium desktop右上角的放大镜图标 ####

> 如图填写配置，并点击start session

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70_pic_center]

#### 2.3.2 定位界面的使用方法如下图所示 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70_pic_center 1]

#### 2.3.3 点击短视频的作者名字，查看并获取该元素的id ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70_pic_center 2]

#### 2.3.4 在python使用代码通过元素id获取该元素的文本内容 ####

> 实例化appium driver对象后添加如下代码，运行并查看效果

# 获取视频的各种信息：使用appium desktop定位元素
    print(driver.find_element_by_id('bc').text)  # 发布者名字
    print(driver.find_element_by_id('al9').text)  # 点赞数
    print(driver.find_element_by_id('al_').text)  # 留言数
    print(driver.find_element_by_id('a23').text)  # 视频名字，可能不存在，报错

*  定位元素及获取其文本内容的方法
    
     *  driver.find\_element\_by\_id(元素的id).text
     *  driver.find\_element\_by\_xpath(定位元素的xpath规则).text

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70_pic_center]: /images/20221119/29e69cf84dbd4430b18defee6dc0c11d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20210126224140456.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20210126224200434.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4,size_16,color_FFFFFF,t_70#pic_center