关于python之selenium

灰太狼 2023-09-30 19:08 11阅读 0赞

### 为什么要学习selenium ###

下面这样直接去获取京东数据，是获取不到秒杀数据的，但是我们手动通过浏览器去查看，却是可以查看到的，所以我们需要去模拟人去操作浏览器访问，就可以获取到数据了

# _*_ coding : utf-8 _*_
    # @Time : 2023/1/31 15:20
    # @Author : 李阶熊
    # @File : 为什么要学习selenium
    # @Project : pythonProject
    import urllib.request
    
    url = 'https://www.jd.com/'
    
    response = urllib.request.urlopen(url)
    
    content = response.read().decode('utf-8')
    
    print(content)

### selenium基本使用 ###

# _*_ coding : utf-8 _*_
    # @Time : 2023/1/31 15:30
    # @Author : 李阶熊
    # @File : selenium基本使用
    # @Project : pythonProject
    
    # 1 导入selenium
    import time
    from selenium import webdriver
    from selenium.webdriver.chrome.service import Service
    
    # 2 创建浏览器操作对象
    path = 'chromedriver.exe'
    
    s = Service(executable_path=path)
    driver = webdriver.Chrome(service=s)
    
    # 3 访问网站
    url = 'https://www.jd.com/'
    
    driver.get(url)
    
    time.sleep(10)
    
    content = driver.page_source
    
    print(content)

### selenium 元素定位 ###

#### 无界面 ####

# _*_ coding : utf-8 _*_
    # @Time : 2023/1/31 15:48
    # @Author : 李阶熊
    # @File : selenium元素定位
    # @Project : pythonProject
    # 1 导入selenium
    import time
    from selenium import webdriver
    from selenium.webdriver.chrome.service import Service
    
    
    # 2 创建浏览器操作对象
    path = 'chromedriver.exe'
    s = Service(executable_path=path)
    browser = webdriver.Chrome(service=s)
    
    # 操作网站
    url = 'https://www.baidu.com'
    
    browser.get(url)
    
    # 元素定位  根据id来找到对象
    # button = browser.find_element(By.ID, 'su')
    # button = browser.find_element('id', 'su')
    # print(button)
    
    
    # 根据标签属性的属性值来获取对象
    # button = browser.find_element('name', 'wd')
    # print(button)
    
    # 根据xpath语句来获取对象的
    # button = browser.find_element('xpath', '//input[@id="su"]')
    # print(button)
    
    # 根据标签的名字来获取对象
    # button = browser.find_elements('tag name', 'input')
    # print(button)
    
    # 使用的bs4语法来获取对象
    # button = browser.find_elements('css selector', '#su')
    # print(button)
    
    
    button = browser.find_element('link text', '视频')
    print(button)
    time.sleep(4)

### selenium 交互 ###

# _*_ coding : utf-8 _*_
    # @Time : 2023/1/31 17:37
    # @Author : 李阶熊
    # @File : selenium交互
    # @Project : pythonProject
    import time
    from selenium import webdriver
    from selenium.webdriver.chrome.service import Service
    
    path = 'chromedriver.exe'
    s = Service(executable_path=path)
    browser = webdriver.Chrome(service=s)
    
    # url
    url = 'https://www.baidu.com'
    browser.get(url)
    
    time.sleep(2)
    # 获取文本框的对象
    input_ = browser.find_element('id', 'kw')
    
    # 在文本框中输入周杰伦
    input_.send_keys('周杰伦')
    
    time.sleep(2)
    
    # 获取百度一下的按钮
    button = browser.find_element('id', 'su')
    
    # 点击按钮
    button.click()
    
    time.sleep(2)
    
    # 划到底部
    
    js_bottom = 'document.documentElement.scrollTop=100000'
    browser.execute_script(js_bottom)
    
    time.sleep(2)
    
    # 获取下一页的按钮
    next_ = browser.find_element('xpath', '//a[@class="n"]')
    
    # 点击下一页
    next_.click()
    
    time.sleep(2)
    
    # 回到上一页
    browser.back()
    
    time.sleep(2)
    
    # 回去
    browser.forward()
    
    time.sleep(5)
    
    browser.quit()

### 元素信息以及交互 ###

# _*_ coding : utf-8 _*_
    # @Time : 2023/1/31 17:21
    # @Author : 李阶熊
    # @File : selenium_元素信息以及交互
    # @Project : pythonProject
    import time
    from selenium import webdriver
    from selenium.webdriver.chrome.service import Service
    
    path = 'chromedriver.exe'
    s = Service(executable_path=path)
    browser = webdriver.Chrome(service=s)
    
    url = 'https://www.baidu.com'
    browser.get(url)
    
    input_ = browser.find_element('id', 'su')
    # 获取标签的属性
    print(input_.get_attribute('class'))
    print(input_.tag_name)
    
    a = browser.find_element('link text', '新闻')
    # 获取元素文本
    print(a.text)

### selenium 无界面headless ###

# _*_ coding : utf-8 _*_
    # @Time : 2023/2/2 10:37
    # @Author : 李阶熊
    # @File : selenium_headless
    # @Project : pythonProject
    # from selenium import webdriver
    # from selenium.webdriver.chrome.options import Options
    #
    # chrome_options = Options()
    # chrome_options.add_argument('--headless')
    # chrome_options.add_argument('--disable-gpu')
    #
    # # path是你自己的chrome浏览器的文件路径
    # path = r'C:\Program Files\Google\Chrome\Application\chrome.exe'
    # chrome_options.binary_location = path
    # browser = webdriver.Chrome(chrome_options=chrome_options)
    #
    # url = 'https://www.baidu.com'
    #
    # browser.get(url)
    #
    # browser.save_screenshot('baidu.png')
    
    
    from selenium import webdriver
    from selenium.webdriver.chrome.options import Options
    
    def share_browser():
        chrome_options = Options()
        chrome_options.add_argument('--headless')
        chrome_options.add_argument('--disable-gpu')
    
        # path是你自己的chrome浏览器的文件路径
        path = r'C:\Program Files\Google\Chrome\Application\chrome.exe'
    
        chrome_options.binary_location = path
        browser = webdriver.Chrome(chrome_options=chrome_options)
        return browser
    
    
    browser = share_browser()
    
    url = 'https://www.baidu.com'
    
    browser.get(url)
    
    browser.save_screenshot('baidu.png')