Python爬虫基础讲解（十四）：初探selenium——元素提取

我会带着你远行 2022-10-16 09:58 222阅读 0赞

### **Python爬虫、数据分析、网站开发等案例教程视频免费在线观看** ###

https://space.bilibili.com/523606542

# [Python学习交流群：1039649593][Python_1039649593] #

# 元素提取 #

通过selenium的基本使用可以简单定位元素和获取对应的数据,接下来我们再来学习下定位元素的方法

find_element_by_id #(根据id属性值获取元素)
    find_element_by_name #(根据标签的name属性)
    find_element_by_class_name #（根据类名获取元素)
    find_element_by_link_text #(根据标签的文本获取元素，精确定位)
    find_element_by_partial_link_text#（根据标签包含的文本获取元素，模糊定位)
    find_e1ement_by_tag_name #(根据标签名获取元素)
    find_e1ement_by_xpath #(根据xpath获取元素)
    find_element_by_css_selector #(根据css选择器获取元素)

上述方法只能查找页面某个标签元素，如果想获取多个元素可以在element后加字母s，如下所示：

find_elements_by_id #(根据id属性值获取元素,返回一个1ist列表)
    find_elements_by_name #(根据标签的name属性,返回一个1ist列表)
    find_elements_by_class_name #（根据类名获取元素，,返回一个list列表)
    find_elements_by_link_text #(根据标签的文本获取元素，精确定位,返回一个1ist列表)
    find_elements_by_partial_link_text #(根据标签包含的文本获取元素，模糊定位,返回一个1ist列表)
    find_elements_by_tag_name #(根据标签名获取元素,返回一个1ist列表)
    find_elements_by_xpath #（根据xpath获取元素,返回一个1ist列表)
    find_elements_by_css_selector #(根据css选择器获取元素,返回一个1ist列表)

### 案例： ###

以豆瓣首页为例:[https://www.douban.com/][https_www.douban.com]

from selenium import webdriver
    
    #1.创建浏览器-->对象
    driver = webdriver.chrome()
    # 2.发送请求
    driver.get("https://www.douban.com//")
    
    #3.获取标签<id,class>
    #3.1 通过标签的id值获取标签anonv-nav
    result1 = driver.find_element_by_id("anony-nav")
    #对象print(result1)
    
    # 3.2根据标签的name属性值获取标签
    result2 = driver.find_element_by_name( ' description ' )
    print(result2)
    
    #3.3通过标签的c1ass属性值获取标签
    result3 = driver.find_element_by_class_name( ' anony-nav-7inks ' )
    print(result3)
    
    # 3.4通过标签包裹的文本'下载豆瓣App'获取元素列表(精确定位)
    resu1t4 = driver.find_element_by_link_text("下载豆瓣App")
    print(result4)
    
    #3.5通过标签包裹的文本"豆瓣",获取元素的列表(模糊定位)
    result5 = driver.find_element_by_partial_link_text("豆瓣")
    print(result5)
    
    # 3.6通过标签名获取元素列表
    result6 = driver.find_element_by_tag_name("div")
    print(result6)
    
    #3.7 通过xpath获取左上角豆瓣图片的<a>标签
    result7 = driver.find_element_by_xpath('/ /*[@id="anony-nav"]/h1/a')
    print(result7)
    
    #3.8 通过css选择器获取左上角豆瓣图片的<a>标签
    result8 = driver.find_element_by_css_selector(' #anony-nav > h1 > a')
    print(result8)
    
    input()
    driver.close()

一般提取到页面元素，无非就是获取元素包含的文本内容或者元素的属性值，当你通过上述元素提取的方法获取元素以后，可以通过如下方法及属性，获取元素包含的文本以及元素指定的属性值:

send_keys('需要在输入框输入的字符串')#向输入框输入数据
    click() # 执行点击操作
    text #获取元素包含的文本内容
    get_attribute( '属性名')#获取元素的属性值

案例如下：

from selenium import webdriver
    driver = webdriver. Chrome()
    driver.get("https://www.douban.com/ ")
    
    #通过xpath获取左上角豆瓣图片的<a>标签,提取标签包含的文本内容
    """
    text属性,可以提取标签包含的文本内容,支持链式调用
    """
    result = driver.find_element_by_xpath('/ /*[@id="anony-nav"]/h1/a' ).text
    print(result)
    
    #通过xpath获取左上角豆瓣图片的<a>标签,提取标签的href属性
    """
    get_attri bute('属性名')
    方法,可以根据属性名提取标签对应该属性的值,支持链式调用
    ""
    resu1t2 = driver.find_element_by_xpath( '//*[@id="anonynav"]/h1/a ').get_attribute('href' )
    print(result2)
    
    driver.find_element_by_css_selector('#anony-nav>div.anony-srh>form>span.inp>input[type=text]')
    
    #找到豆瓣的搜索框,输入关键字"肖申克的救赎"，点击搜索
    """
    send_keys('需要在输入框输入的字符串')# 向输入框输入数据
    click()#执行点击操作
    """
    input_str = driver.find_element_by_css_selector('#anony-nav>div.anony-srh>form>span.inp>input[type=text]')
    input_str.send_keys('肖申克的救赎')
    
    input_click = driver.find_element_by_css_selector('#anony-nav>div.anony-srh>form>span.bn>input[type=submit] ')
    input_click.click()
    
    input()
    driver.quit()

[Python_1039649593]: https://jq.qq.com/?_wv=1027&k=SBLaYU2c
[https_www.douban.com]: https://www.douban.com/