selenium获取方法

秒速五厘米 2022-05-18 09:35 181阅读 0赞

# Selenium : #

自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium 的插件，那么便可以方便地实现Web界面的测试。换句话说叫 Selenium 支持这些浏览器驱动。

接下来我们获取美食杰里面的菜谱大全下面的孕妇菜谱的内容保存起来:

代码如下:

from selenium import webdriver
    from selenium.webdriver.common.action_chains import ActionChains
    import time
    driver = webdriver.Firefox()
    driver.get('https://www.meishij.net/')
    more = driver.find_element_by_class_name('hasmore')
    ActionChains(driver).move_to_element(more).perform()
    #获取a标签下的列表第7个值
    driver.find_elements_by_xpath('//dl[@class="clearfix"]//a')[8].click()
    
    for page in range(1,7,2):
        x = float(page) / 6
        # 获取整个网页可以滑动的长度
        ms = 'document.documentElement.scrollTop=document.documentElement.scrollHeight * %f' % x
        time.sleep(3)
        # 将字符串转化成可执行的代码
        driver.execute_script(ms)
        item_list_page = driver.find_elements_by_xpath('//div[@class="listtyle1"]/a')
        #遍历item_list_page
        for item in item_list_page:
            with open('item.txt','a',encoding='utf-8')as f:
                f.write(item.text)
                f.write('\n')

网页更新太快,有时候今天成功爬取的数据,明天这个代码就不能正常运行了.这就是爬虫的弊端.

发表评论取消回复

表情：

评论列表（有 0 条评论，181人围观）

还没有评论，来说两句吧...

相关阅读

相关使用Java-selenium获取网页数据

本文数据库访问使用的是spring-boot-data-jpa,不懂得同学可以先了解spring-boot-data-jpa再来看本文章，本文以上交所公告信息及监管信息为例，具

蔚落/ 2023年10月17日 18:16/ 0 赞/ 38 阅读

相关利用scrapy_selenium获取地图信息

![2d815e4556064dc2bad70358db366878.png][] 网页爬虫是一种自动获取网页内容的技术，它可以用于数据采集、信息分析、网站监测等多种场景。然

╰+哭是因爲堅強的太久メ/ 2023年10月15日 12:46/ 0 赞/ 11 阅读

相关 python selenium 获取接口数据

python selenium 获取接口数据。 selenium没有直接提供查询的函数，但是可以通过webdriver提供的API查询，使用的函数是Network.getRe

快来打我*/ 2023年02月14日 06:56/ 0 赞/ 214 阅读

相关 Python3使用Selenium获取session和token方法详解

一、背景说明之前写了一款简单的api模糊测试工具，之前系统可以使用http Base认证现在改成session形式并加上了token。最简单的改造方法，是自己先在浏览

阳光穿透心脏的1/2处/ 2022年10月30日 03:29/ 0 赞/ 768 阅读

相关 Selenium获取微博Cookie

以前一直听说selenium 今天决定尝试下。先尝试下获取微博的cookie。先安装 selenium pip install selenium 然后下载浏览

Bertha 。/ 2022年06月16日 02:58/ 0 赞/ 469 阅读

相关 Selenium 定位方法

百度的首页，在这张页面上有输入框、按钮和文字链接，当然还有图片，页面的底部还有一行文字，左侧还一个下拉框。自动化要做的就是模式鼠标和键盘来操作这些元素，或点击，或输入，或右击，

你的名字/ 2022年06月12日 03:48/ 0 赞/ 212 阅读

相关 python selenium 获取动态网页数据

-- coding:utf-8 -- import requests from bs4 import BeautifulSoup from selen

傷城~/ 2022年06月12日 03:41/ 0 赞/ 230 阅读

相关 selenium获取方法

Selenium : 自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Seleni

秒速五厘米/ 2022年05月18日 09:35/ 0 赞/ 182 阅读

相关 selenium获取html源代码

执行js得到整个HTML html = driver.execute_script("return document.documentElement.out

淩亂°似流年/ 2022年03月09日 09:36/ 0 赞/ 659 阅读

相关 python selenium-ActionChains方法

1.ActionChains方法列表 click(on\_element=None) ——单击鼠标左键 click\_and\_hold(on\_element=Non

拼搏现实的明天。/ 2022年01月22日 05:35/ 0 赞/ 249 阅读