Scrapy第十五篇：后起之秀-Playwright

阳光穿透心脏的1/2处 2024-04-08 10:05 145阅读 0赞

Playwright 是微软在 2020 年初开源的新一代自动化测试工具，它的功能类似于 Selenium、Pyppeteer 等，它的功能非常强大，使用便捷简单，缺点是更新较快，市面上相关文档又少。官网：

目录

1.安装

2.初始化

3.基本使用

4.代码生成

5.选择器

6.事件监听

6.正则表达式很多时候，点击的url后面会附带参数，这个参数是变动的，这是后需要用正则去匹配最典型的情况是等待一个页面加载：page.wait_for_url（http://xxxxx?id=123456）从源码可以看出我们是可以传入正则表达式的：编辑

7.滑动翻页

8.并发

9.实例

10.使用模板

11.使用经验

1.安装

  1. pip install playwright -i https://pypi.tuna.tsinghua.edu.cn/simple

2.初始化

  1. playwright install

3.基本使用

Playwright 支持两种模式：同步、异步。

同步模式：

  1. import time
  3. from playwright.sync_api import sync_playwright
  5. if __name__ == '__main__':
  6.     # 浏览器上下文管理器
  7.     with sync_playwright() as p:
  8.         # 启动谷歌浏览器（关闭无头模式）
  9.         driver = p.chromium.launch(headless=False)
  10.         # 新建页面
  11.         page = driver.new_page()
  12.         # 访问网址
  13.         page.goto('https://www.baidu.com')
  14.         print(page.title())
  15.         page.fill('xpath=//input[@id="kw"]', '杜兰特')
  16.         page.click('xpath=//input[@id="su"]')
  17.         # 关闭驱动
  18.         time.sleep(5)
  19.         driver.close()

异步模式：

  1. import asyncio
  3. from playwright.async_api import async_playwright
  6. async def main():
  7.     # 浏览器上下文管理器
  8.     async with async_playwright() as p:
  9.         # 启动谷歌浏览器（关闭无头模式）
  10.         driver = await p.chromium.launch(headless=False)
  11.         # 新建页面
  12.         page = await driver.new_page()
  13.         # 访问网址
  14.         await page.goto('https://www.baidu.com')
  15.         title = await page.title()
  16.         print(title)
  17.         # 关闭驱动
  18.         await driver.close()
  21. asyncio.run(main())

注意：with 用于上下文对象的管理，它可以返回一个上下文管理器，也就对应一个 PlaywrightContextManager 对象，无论运行期间是否抛出异常，它能够帮助我们自动分配并且释放 Playwright 的资源。

4.代码生成

Terminal执行：

  1. playwright codegen -o script.py

操作浏览器后，右边会生产相应的代码预览

3f284fe8f04c448e9350f0f81d6008c4.png

关闭浏览器后，会在同级目录生成script.py代码 ，可以直接执行。

5.选择器

  1. import time
  3. from playwright.sync_api import sync_playwright
  5. if __name__ == '__main__':
  6.     # 浏览器上下文管理器
  7.     with sync_playwright() as p:
  8.         # 启动谷歌浏览器（关闭无头模式）
  9.         driver = p.chromium.launch(headless=False)
  10.         # 新建页面
  11.         page = driver.new_page()
  12.         # 访问网址
  13.         page.goto('https://www.baidu.com')
  14.         print(page.title())
  15.         # xpath选择器（推荐，不同的模拟器有不同的写法，但是xpath都是相通的，一招鲜吃遍天）
  16.         page.fill('xpath=//input[@id="kw"]', '杜兰特')
  17.         # ID选择器
  18.         page.click('#su')
  19.         time.sleep(2)
  20.         # class选择器
  21.         page.fill('.s_ipt', '欧文')
  22.         # 文本选择器
  23.         page.click('text=百度一下')
  24.         # 关闭驱动
  25.         time.sleep(2)
  26.         driver.close()

6.事件监听

Page 对象提供了一个 on 方法，它可以用来监听页面中发生的各个事件，比如 close、console、load、request、response 等等。一个典型的用法就是用来监听页面的ajax请求响应：

  1. import time
  2. import cchardet
  3. from playwright.sync_api import sync_playwright, Response
  6. # 监听Response回调函数
  7. def handle_response(response: Response):
  8.     detect = cchardet.detect(response.body())
  9.     if detect['encoding']:
  10.         print(response.body().decode(detect['encoding']))
  13. if __name__ == '__main__':
  14.     # 浏览器上下文管理器
  15.     with sync_playwright() as p:
  16.         # 启动谷歌浏览器（关闭无头模式）
  17.         driver = p.chromium.launch(headless=False)
  18.         # 新建页面
  19.         page = driver.new_page()
  20.         # 访问网址
  21.         page.goto('https://spa6.scrape.center/')
  22.         print(page.title())
  23.         # 监听网络请求的Response
  24.         page.on('response', handle_response)
  25.         # 等待网络请求加载完毕
  26.         page.wait_for_load_state('networkidle')
  27.         time.sleep(2)
  28.         driver.close()

" class="reference-link">6.正则表达式 很多时候，点击的url后面会附带参数，这个参数是变动的，这是后需要用正则去匹配 最典型的情况是等待一个页面加载：page.wait_for_url（http://xxxxx?id=123456） 从源码可以看出我们是可以传入正则表达式的：89b3463f9e3945568d005ad6c61bf83f.png

使用示例：

  1. page.wait_for_url(re.compile("https://www.abcd.xyz/web/index[\s\S]*"))

7.滑动翻页

  1. page.locator("body").press("PageDown")

8.并发

  1. import asyncio
  2. import time
  4. from playwright.async_api import async_playwright
  7. async def run(url):
  8.     async with async_playwright() as playwright:
  9.         # create a chromium browser instance
  10.         chromium = playwright.chromium
  11.         # browser = await chromium.launch()
  12.         # create a bowser instance which headless is true
  13.         browser = await chromium.launch(headless=False)
  14.         # create two isolated browser contexts
  15.         user_context = await browser.new_context()
  16.         page = await user_context.new_page()
  17.         await page.goto(url)
  18.         await page.fill('xpath=//input[@id="kw"]', '杜兰特')
  19.         await page.click('xpath=//input[@id="su"]')
  20.         time.sleep(10)
  21.         # await page2.goto('https://www.baidu.com')
  24. async def main():
  25.     tasks = []
  26.     urls = ['https://www.baidu.com', 'https://www.baidu.com', 'https://www.baidu.com']
  27.     for url in urls:
  28.         task = asyncio.ensure_future(run(url))
  29.         tasks.append(task)
  30.     await asyncio.gather(*tasks)
  33. if __name__ == '__main__':
  34.     asyncio.run(main())

9.实例

  1. """
  2. 同步模式
  3. """
  4. import time
  6. from playwright.sync_api import sync_playwright, Page, Locator
  9. def handle_business(page: Page, url):
  10.     """
  11.     逻辑处理
  12.     :param page: 页面实例
  13.     :param url: 访问地址
  14.     :return:
  15.     """
  16.     page.goto(url)
  17.     # 定位输入框
  18.     """
  19.     定位！
  20.     1.xpath定位：【搜索框】locator_input = page.locator('xpath=//input[@id="kw"]')
  21.     2.元素属性定位：【搜索框】locator_input = page.locator('[name="wd"]')后者locator_input = page.locator('[class="s_ipt"]')
  22.     3.本文定位：【搜索按钮】locator_submit_button = page.locator('text="百度一下"')
  23.     4.id定位：【搜索按钮】locator_submit_button = page.locator('#su')
  24.     5.CSS定位：略
  25.     6.伪类①：is【如果定位不到text="百度一下"，则定位#su】locator_submit_button = page.locator(':is([text="百度一下"]),#su')
  26.     7.伪类②：has
  27.     8.伪类③：hans-text
  28.     """
  29.     locator_input = page.locator('[class="s_ipt"]', ).filter()
  30.     """
  31.     页面操作！
  32.     1.page.goto("https://example.com") # 前往页面
  33.     2.page.go_back(**kwargs) #前进
  34.     3.page.go_forward(**kwargs) # 后退
  35.     4.page.screenshot(path="screenshot.png") 截图
  36.     5.print(page.title()) # 打印当前页标题
  37.     6.print(page.url()) # 打印当前页URL
  38.     7.page.reload(**kwargs) # 重新加载当前页面
  39.     """
  40.     # 填写
  41.     locator_input.fill('SpringBoot')
  42.     # 定位提交按钮
  43.     locator_submit_button: Locator = page.locator(':is([text="百度一下"]),#su')
  44.     # 鼠标单击
  45.     locator_submit_button.click()
  46.     """
  47.     等待元素！
  48.     1.等待元素：page.wait_for_selector(selector="[class='page-item_M4MDr pc']", strict=False, state="visible", timeout=5000)
  49.          state:
  50.          - `attached` - 等待元素出现在DOM中
  51.          - `detached` - 等待元素消失在DOM中
  52.          - `visible` - 等待元素可访问
  53.          - `hidden` - 等待元素隐藏
  54.          strict:断言选择器元素唯一。
  55.     2.等待固定时间:page.wait_for_timeout(1000)
  56.     3.等待状态：page.wait_for_load_state(state="networkidle")
  57.         state:
  58.         - `domcontentloaded` - 等待DOM加载完毕
  59.         - `load` - 等待加载事件完毕
  60.         - `networkidle` - 等待网络闲置至少500ms（即网络加载完毕）
  61.     """
  62.     page.wait_for_load_state(state="networkidle")
  63.     """
  64.     元素操作！
  65.     1.文本输入：locator_input.fill('SpringBoot')
  66.     2.获取节点属性：attribute = page.get_attribute("#su", "type")
  67.     3.点击：locator_submit_button.click()或者page.click("#su")
  68.     """
  70.     time.sleep(50)
  73. if __name__ == '__main__':
  74.     # 浏览器上下文管理器
  75.     with sync_playwright() as p:
  76.         # 创建浏览器驱动
  77.         browser = p.chromium.launch(headless=False)
  78.         # 创建浏览器实例
  79.         context = browser.new_context()
  80.         # 创建页面实例
  81.         page = context.new_page()
  82.         handle_business(page, 'https://www.baidu.com/')

10.使用模板

  1. import time
  3. from playwright.sync_api import sync_playwright
  6. if __name__ == '__main__':
  7.     # 浏览器上下文管理器
  8.     with sync_playwright() as p:
  9.         # 启动谷歌浏览器（关闭无头模式）
  10.         driver = p.chromium.launch(headless=False, args=["--start-maximized"])
  11.         # 全屏
  12.         context = driver.new_context(no_viewport=True)
  13.         # 新建页面
  14.         page = context.new_page()
  16.         # 这里使用生成器生成！！！！TODO
  18.         # 关闭驱动
  19.         time.sleep(10)
  20.         context.close()
  21.         driver.close()

11.使用经验

①最好不要去手写，太影响效率，最好是使用生成器，然后复制进模板进行修改。

②生成器生成的代码，往往无法直接使用，因为很多定位器是动态的，无法使用，我们需要把动态的定位器换成固定的定位器。

③有些元素只有悬停才会出现，我们可以使用hover()

  1. page1.get_by_role("link", name="系统维护").hover()

④有些元素找不到、定位不到，可能是加载太慢了，我们可以先用xpath定位，等待元素出现

  1. # 先等待元素
  2. page1.wait_for_selector(
  3.                     selector='//div[@class="am-modal-dialog" and @style="width: 540px; height: 150px;"]//span[@class="am-modal-btn"]')
  4. # 再获取元素
  5.                 selector = page1.query_selector(
  6.                     selector='//div[@class="am-modal-dialog" and @style="width: 540px; height: 150px;"]//span[@class="am-modal-btn"]')
  7. # 最后操作元素
  8.                 selector.click()

⑤在循环里面做好异常捕获，并在捕获中将界面打回新一轮的起点。

⑥有时候跑得太快，下拉框没有选择进去，可以多执行几次。

  1. page1.frame_locator("iframe[style=\"min-height:322px\"]").locator(
  2.                     "select[name=\"orgCategory\"]").select_option(
  3.                     f"{number}")
  4. page1.frame_locator("iframe[style=\"min-height:322px\"]").locator(
  5.                     "select[name=\"orgCategory\"]").select_option(
  6.                     f"{number}")
  7. page1.frame_locator("iframe[style=\"min-height:322px\"]").locator(
  8.                     "select[name=\"orgCategory\"]").select_option(
  9.                     f"{number}")
  10. page1.get_by_text("确定").click()

发表评论

表情：
评论列表 （有 0 条评论，145人围观）

还没有评论，来说两句吧...

相关阅读