【Pyppeteer或Puppeteer】网络爬虫反反爬小技巧【Pyppeteer完美突破被js或服务器识别检测的解决方案】

雨点打透心脏的1/2处 2021-09-07 06:05 592阅读 0赞

参考别人的文档：[https://blog.csdn.net/qq\_36957681/article/details/110846217][https_blog.csdn.net_qq_36957681_article_details_110846217]

通常来说，使用Pyppeteer需突破被检测识别的方案首先必须做到最基本的三个部分：

第一步：启动浏览器增加移除参数【--enable-automation】是必须的，参数：[https://segmentfault.com/a/1190000019539509][https_segmentfault.com_a_1190000019539509]

const browser = await puppeteer.launch({ignoreDefaultArgs: ["--enable-automation"]});

第二步：使用pyppeteer\_stealth框架，隐藏！参考官方：[https://pypi.org/project/pyppeteer-stealth/][https_pypi.org_project_pyppeteer-stealth]

**第三步【最核心的地方】：很多网站会根据你页面延迟的情况来判断是不是机器人！**

**1、你进入页面时是不是延迟几秒**

**2、每个input的输入是否为人工输入【每个字符是否间隔多少毫秒】**

**3、你提交按钮之前，是否延迟几秒**

**4、其他各种延迟的限制，是否完全符合人工操作【这个是pyppeteer框架最常用的方式，必须自己调试才能确保某个网站最佳的模拟方案】**

[https_blog.csdn.net_qq_36957681_article_details_110846217]: https://blog.csdn.net/qq_36957681/article/details/110846217
[https_segmentfault.com_a_1190000019539509]: https://segmentfault.com/a/1190000019539509
[https_pypi.org_project_pyppeteer-stealth]: https://pypi.org/project/pyppeteer-stealth/