python爬取猫眼电影前100，生成本地txt文件

r囧r小猫 2024-04-18 19:11 81阅读 0赞

import requests
    from bs4 import BeautifulSoup
    #json  数据格式 字典
    
    """
    data = {"name":"ming"}
    字典
    data = {'name':'ming'}
    """
    #在网页中爬取的数据保存到python对象中为字典，但是文件写入不了对象所以我们要转成json字符串写入
    import json
    
    """
    思路：
    1、使用网络请求包去请求网站，利用这个包去获取网站上的前端源代码[html，json，xml]
    2、在前端源代码中筛选出我们想要的数据
    3、把筛选出来的数据存放文件中
    """
    """
    爬虫原理：
    模拟浏览器想服务器发送http请求【get post option...】,网站接收到请求后，返回数据
    """
    #浏览器请求头设置
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
    }
    #去获取请求页面
    def getPage(url):
        #异常处理  他能捕获异常【错误】
        try:
            #get()是一种http请求，拿到数据
            response = requests.get(url, headers=headers)
            if response.status_code == 200:
                return response.text
            else:
                return None
        except:
            return None
    
    #获取电影信息
    def getInfo(html):
        #使用BeautifulSoup匹配电影的排行 电影名 主演 评分 上映时间,html解析库
        soup = BeautifulSoup(html, 'lxml')
        items = soup.select('dd')
        #从dd标签中提取排行 电影名 主演 评分 上映时间
        for item in items:
            index = item.find(name='i', class_='board-index').get_text()
            name = item.find(name='p', class_='name').get_text()
            start = item.find(name='p', class_='star').get_text().strip()[3:]
            time = item.find(name='p', class_='releasetime').get_text()[5:]
            score = item.find(name='p', class_='score').get_text()
            #return 吃内存 如果你返回的数据有一百万部电影 他会全部存入到内存当中
            #return index, name, start, time, score
    
            #生成器 一部一部的返回 保持内存中只有一部电影的信息 惰性加载
            yield {
                '排行': index,
                '电影名称': name,
                '主演': start,
                '上映时间': time,
                '评分': score
            }
    
    def writeData(field):
        #文件处理
        with open('maoyan_info.txt', 'a', encoding='utf-8') as f:
            f.write(json.dumps(field, ensure_ascii=False) + '\n')
    
    #程序入口
    if __name__ == "__main__":
        for num in [i*10 for i in range(10)]:
            url = 'https://maoyan.com/board/4?offset=' + str(num)
            html = getPage(url)
    
            for item in getInfo(html):
                print(item)
                writeData(item)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1eGlhbmdkZW1pbmc_size_16_color_FFFFFF_t_70][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1eGlhbmdkZW1pbmc_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/f1246d5892cf4f219b29a1f7f3183575.png