Day02 requests爬取豆瓣电影信息及selenium请求库

快来打我* 2021-12-12 19:15 375阅读 0赞

昨日回顾：
        一 爬虫基本原理
            - 爬虫全过程
            1.发送请求
            2.接受响应数据
            3.解析并提醒有价值的数据
            4.保存数据
        二 Requests请求库
            - get
                url
                headers
                cookies
            - post
                url
                headers
                cookies
                data
        三 爬取校花网视频
            1.通过主页解析提取所有视频的详情页
            2.通过详情页提取视频url
            3.获取视频的二进制流写入本地
        四 自动登录github
            1.分析请求体与请求体信息
                - 用户名
                - 密码
                - token
                - 杂七杂八
            2.token
                - 通过对login页面的解析提取
            3.对session_url发送请求
                - headers：
                    - user-agent
    
                - cookies：
                    - login页面的cookies
                - data：
                    - form_data
    
    今日内容
    一 requests爬取豆瓣电影信息
        - 请求url
            https://movie.douban.com/top250
        - 请求方式
           GET
        - 请求头
            User-Agent
            cookies

""""""
 """
 爬取豆瓣电影信息：
 电影排名、电影名称、电影url、电影导演
 电影主演、电影年份、电影类型
 电影评分、电影评论、电影简介
 1.分析所有主页的url
 第一页：https://movie.douban.com/top250?start=0&filter=
 第二页：https://movie.douban.com/top250?start=25&filter=
 第三页：https://movie.douban.com/top250?start=50&filter=
 """
 import requests
 import re
 # 爬虫三部曲
 # 1.发送请求
 def get_page(url):
 response=requests.get(url)
 # print(response.text)
 return response
 # 2.解析数据
 def parse_index(html):
 """"""
 """
 电影排名、电影url、电影名称、电影导演、电影主演
 电影年份/电影类型、电影评分、电影评论、电影简介
 <div class="item">.*?(.*?).*?<a href="(.*?)">
 .*?(.*?).*?导演：(.*?)主演：(.*?) (.*?)
 .*?(.*?).*?(.*?)人评价
 .*?(.*?)
 <div class="item">.*?(.*?).*?<a href="(.*?)">.*?(.*?).*?导演: (.*?)主演: (.*?) (.*?).*?(.*?).*?(.*?)人评价.*?(.*?)
 """
 movie_list = re.findall(
 '<div class="item">.*?(.*?).*?<a href="(.*?)">.*?(.*?).*?导演: (.*?)主演: (.*?) (.*?).*?(.*?).*?(.*?)人评价.*?(.*?)',
 html,
 re.S)
 return movie_list
 # 3.保存数据
 def save_data(movie):
 # 电影排名、电影url、电影名称、电影导演、电影主演
 # 电影年份 / 电影类型、电影评分、电影评论、电影简介
 top, m_url, name, daoyan, actor, year_type, point, commit, desc = movie
 year_type = year_type.strip('\n')
 data = f"""
 =========欢迎尊敬的官人观赏===========
 电影排名:{top}
 电影url:{m_url}
 电影名称:{name}
 电影导演:{daoyan}
 电影主演:{actor}
 电影年份/电影类型:{year_type}
 电影评分:{point}
 电影评论:{commit}
 电影简介:{desc}
 ===========欢迎下次再来============
 \n
 \n
 """
 print(data)
 with open('douban.txt','a',encoding='utf-8') as f:
 f.write(data)
 print(f'电影{name}写入成功...')
 if __name__ == '__main__':
 # 拼接所有主页
 num = 0
 for line in range(10):
 url=f'https://movie.douban.com/top250?start={num}&filter='
 num+=25
 print(url)
 # 1.往每个主页发送请求
 index_res=get_page(url)
 # 2.解析主页获取电影信息
 movie_list=parse_index(index_res.text)
 for movie in movie_list:
 # print(movie)
 # 3.保存数据
 save_data(movie)

二 selenium请求库
        1、什么是selenium？
            起初是一个自动化测试工具，原理是驱动浏览器执行一些一定好的操作。
            爬虫本质上就是模拟浏览器，可以使用它来做爬虫。
        2、为什么要使用selenium？
            优点：
                - 执行js代码
                - 不需要分析复杂的通信流程
                - 可以对浏览器做弹窗、下拉等操作
                - ***** 获取动态数据
                - *** 破解登录验证
            缺点：
                - 执行效率低
        3、安装与使用
            1.安装selenium请求库：
                pip3 install selenium
            2.必须安装浏览器
                谷歌 或 火狐
            3.安装浏览器驱动

from selenium import webdriver   # web驱动
    from selenium.webdriver.common.by import By  # 按照什么方式查找，By.ID,By.CSS_SELECTOR
    from selenium.webdriver.common.keys import Keys  # 键盘按键操作
    from selenium.webdriver.support import expected_conditions as EC  # 和下面WebDriverWait一起用的
    from selenium.webdriver.support.wait import WebDriverWait  # 等待页面加载某些元素
    import time
    import time
    # 方式一:通过驱动打开浏览器
    # driver = webdriver.Chrome(r'D:\test\webdriver.exe')
    # 方式二:把webdriver.exe驱动放到 python解释器目录/scripts文件夹中
    # driver = webdriver.Chrome(r'D:\test\webdriver.exe')
    driver = webdriver.Chrome()
    try:
        driver.get('https://www.jd.com/')
        #  获取显示等待对象10秒
        #  可以等待某个标签加载10秒
        wait = WebDriverWait(driver,10)
        # 查找元素id为key
        input_tag=wait.until(EC.presence_of_element_located((By.ID,'key')))
        time.sleep(5)
        # 在输入框内输入商品名称
        input_tag.send_keys('公仔')
        # 按下键盘回车键
        input_tag.send_keys(Keys.ENTER)
        time.sleep(20)
    finally:
        # 关闭浏览器，释放操作系统资源
        driver.close()

''''''
    from selenium import webdriver  # web驱动
    from selenium.webdriver.common.keys import Keys  # 键盘按键操作
    import time
    import time
    driver = webdriver.Chrome()
    try:
        # 隐式等待: 需要在get之前调用
        # 等待任意元素加载10秒
        driver.implicitly_wait(10)
        driver.get('https://www.baidu.com/')
        # 显式等待: 需要在get之后调用
        time.sleep(5)
        '''
        ===============所有方法===================
            element是查找一个标签
            elements是查找所有标签
        '''
        # 自动登录百度 start
        # 1、find_element_by_link_text # 通过链接文本去找
        login_link = driver.find_element_by_link_text('登录')
        login_link.click()  # 点击登录
        time.sleep(1)
        # 2、find_element_by_id # 通过id去找
        user_login = driver.find_element_by_id('TANGRAM__PSP_10__footerULoginBtn')
        user_login.click()
        time.sleep(1)
        # 3、find_element_by_class_name
        user = driver.find_element_by_class_name('pass-text-input-userName')
        user.send_keys('*****')
        # 4、find_element_by_name
        pwd = driver.find_element_by_name('password')
        pwd.send_keys('*****')
        submit = driver.find_element_by_id('TANGRAM__PSP_10__submit')
        submit.click()
        # end
        # 5、find_element_by_partial_link_text
        # 局部链接文本查找
        login_link = driver.find_element_by_partial_link_text('登')
        login_link.click()
        # 6、find_element_by_css_selector
        # 根据属性选择器查找元素
        # .: class
        # #: id
        login2_link = driver.find_element_by_css_selector('.tang-pass-footerBarULogin')
        login2_link.click()
        # 7、find_element_by_tag_name
        div = driver.find_elements_by_tag_name('div')
        print(div)
        time.sleep(20)
    finally:
        # 关闭浏览器释放操作系统资源
        driver.close()

转载于:https://www.cnblogs.com/qwe1617039242/p/11119825.html