《Python爬虫100例》复盘⑦，解决手机APP爬虫环境问题

旧城等待， 2023-10-06 20:09 10阅读 0赞

#### 文章目录 ####

*   *  案例 41：Fiddler+夜神模拟器
     *  案例 42：爬取儿歌多多APP数据
     *  案例 43：百思不得姐APP数据
     *  案例 44：Charles安装与使用
     *  案例 45：Charles抓取兔儿故事
     *  案例 46：Charles抓取手机收音机
     *  案例 47：mitmproxy安装与模拟器
     *  案例 48：使用mitmdump抓取手机惠农APP
     *  案例 49：Appium安装+操作51JOB\_APP
     *  今日复盘结论
     *  收藏时间

### 案例 41：Fiddler+夜神模拟器 ###

这篇案例主要学习的其实是 Fiddler + 夜神模拟器的环境配置，因为多数情况下捕捉到手机APP的接口，就已经解决了爬虫的最大问题。

案例中使用的 `fiddler` 是 4.0 版本，整体的安装流程复盘了一下，无大问题。  
学习过程中重点注意的是\[证书的安装\]，包括电脑证书，手机端证书。

这里也发现了一个评论，询问手机端证书问题，如果发现证书直接点击无法安装，请在手机端设置->安全 里面找到从 SD卡安装证书，导入即可。

**夜神模拟器**就是一款普通软件，按照正常流程安装即可。  
建议下载历史版本：[https://support.yeshen.com/zh-CN/win-release/6612][https_support.yeshen.com_zh-CN_win-release_6612]，最新版本使用的是安卓7.0，可能会碰到一些比较难的点。

### 案例 42：爬取儿歌多多APP数据 ###

这篇案例重点学习 Fiddler 与模拟器的配合，过程中捕获的接口，测试之后，发现可以使用。

http://bb.ergeduoduo.com/baby/bb.php?type=getvideos&collectid=29&interver=8&page=1&pagesize=30&grade=-1_-1&user=866174010820641&prod=childstory_ar_4.0.5.0&corp=duoduo&source=childstory_ar_4.0.5.0_m360&srcver=story&ver=1&imei=866174010820641&protect=1

### 案例 43：百思不得姐APP数据 ###

好家伙，这个APP没有了，建议大家切换一个段子类的APP，就可以继续学习啦，流程是一致的。

建议：段子大全，糗事段子手，内涵段子，每日经典段子……

### 案例 44：Charles安装与使用 ###

本篇博客与案例41一致，使用的是另一款抓包软件 `Charles`，学习难度不大，安装之后，可以配合夜神模拟器获取到数据即可。

### 案例 45：Charles抓取兔儿故事 ###

依旧是APP不存在了，好多APP竟然还没有我们的课程【存在】的时间长，这里将 《兔儿故事》这款APP，切换为任意“儿童故事类APP”，即可实现一样的逻辑。

例如：幼儿园歌谣大全，宝宝催眠曲，宝宝学唱儿歌……

### 案例 46：Charles抓取手机收音机 ###

本案例无问题，在博客中曾提及了 “荔枝APP”，可以去操作一把。

接口依旧可用：`https://rapi.qingting.fm/categories/442/channels?&page=1&pagesize=30`。

### 案例 47：mitmproxy安装与模拟器 ###

本案例主要介绍的是爬虫辅助工具 `mitmproxy`，你将其理解为网页版的 Fiddler 就行，使用方式也十分类似。

原博客写作的时间始2019年1月，现在已经是2021年11月了，重点注意博客中的最后一张图片。

> 如果信仰有颜色，那一定是中国红！

### 案例 48：使用mitmdump抓取手机惠农APP ###

接口可用，案例无问题，《手机惠农》APP，好样的。

### 案例 49：Appium安装+操作51JOB\_APP ###

这篇博客的重点是 Appium 的安装，在原版博客中使用的是 `Appium-DeskTop 1.10` 版本，如今你在打开其最新版本，已经变为了 `v1.22.0`，而且 `Appium Inspector` 也被分离了出去，关于 `Appium` 的安装教程，我将在新版《Python爬虫120例》中进行专门展示，如果你已经订阅 [《Python爬虫100例》][Python_100]，可以联系我获得单独的PDF文件。

Python 爬虫 100 例专栏，有反爬相关教程，学起来[《Python 爬虫100 例》][Python_100]

### 今日复盘结论 ###

今天复盘了 9 个案例，本部分博客，内容主要围绕手机APP抓包，所以在学习的时候，重点在抓包工具的采集与与安装上，各种APP，你可以去任意安卓商店下载、测试。

### 收藏时间 ###

本期博客收藏过 400，立刻更新下一篇

> 今天是持续写作的第 260 / 200 天。  
> 可以关注我，点赞我、评论我、收藏我啦。

**更多精彩**

*  [Python 爬虫 100 例教程导航帖（抓紧订阅啦）][Python_100]

--------------------

![在这里插入图片描述][58dbb001120948a9b87e968918bd0be9.png]

[https_support.yeshen.com_zh-CN_win-release_6612]: https://support.yeshen.com/zh-CN/win-release/6612
[Python_100]: https://blog.csdn.net/hihell/category_9280209.html
[58dbb001120948a9b87e968918bd0be9.png]: https://img-blog.csdnimg.cn/58dbb001120948a9b87e968918bd0be9.png