python抓取猫眼电影top100

待我称王封你为后i 2022-06-06 03:46 281阅读 0赞

这里主要运用到了正则表达式进行抓取；

import json
    from multiprocessing import Pool
    import requests
    from requests.exceptions import RequestException
    import re
    
    def get_one_page(url):
        try:
            response = requests.get(url)
            if response.status_code == 200:
                return response.text
            return None
        except RequestException:
            return None
    
    def parse_one_page(html):
        pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                             +'.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                             +'.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
        items = re.findall(pattern, html)
        for item in items:
            yield {
                'index': item[0],
                'image': item[1],
                'title': item[2],
                'actor': item[3].strip()[3:],
                'time': item[4].strip()[5:],
                'score': item[5]+item[6]
            }
    
    def write_to_file(content):
        with open('result.txt', 'a', encoding='utf-8') as f:
            f.write(json.dumps(content, ensure_ascii=False) + '\n')
            f.close()
    
    def main(offset):
        url = 'http://maoyan.com/board/4?offset=' + str(offset)
        html = get_one_page(url)
        for item in parse_one_page(html):
            print(item)
            write_to_file(item)
    
    
    if __name__ == '__main__':
        pool = Pool()
        pool.map(main, [i*10 for i in range(10)])
        pool.close()
        pool.join()

发表评论取消回复

表情：

评论列表（有 0 条评论，281人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python多进程爬去猫眼TOP100电影数据存入Mongodb数据库

需要准备的原材料： 1. Mongodb数据库，去官网下载安装包，最新版本的数据库支持一键式安装不用配置启动服务了 2. pyquery库 `pip instal...

忘是亡心i/ 2024年04月19日 15:00/ 0 赞/ 67 阅读

相关 python爬虫开发之使用Python爬虫库requests多线程抓取猫眼电影TOP100实例

这篇文章主要介绍了python爬虫开发之使用Python爬虫库requests多线程抓取猫眼电影TOP100实例,需要的朋友可以参考下使用Python爬虫库request

你的名字/ 2023年07月16日 03:49/ 0 赞/ 21 阅读

相关 Python爬虫编程思想（37）：项目实战：抓取猫眼电影Top100榜单

本文会使用urllib3抓取猫眼电影Top100榜单，读者使用下面的URL进入Top100榜单页面。 https://maoyan.com/board/4 Top100榜单

ゝ一世哀愁。/ 2022年08月28日 07:41/ 0 赞/ 211 阅读

相关 python抓取猫眼电影top100

这里主要运用到了正则表达式进行抓取； import json from multiprocessing import Pool import requ

待我称王封你为后i/ 2022年06月06日 03:46/ 0 赞/ 282 阅读

相关爬取猫眼电影网经典电影TOP100信息Markdown效果展示

No:1 ![image][] 霸王别姬主演：张国荣,张丰毅,巩俐上映时间：1993-01-01(中国香港) 评分：9.6 [了解更多…][

╰+攻爆jí腚メ/ 2022年06月05日 11:30/ 0 赞/ 17837 阅读

相关 Python爬取猫眼电影TOP100

ps：初学爬虫，跟着催庆才的爬虫案例实战写的！视频网址：https://edu.hellobi.com/course/156/ 1，首先导入相应的模块

àì夳堔傛蜴生んèń/ 2022年06月05日 02:26/ 0 赞/ 310 阅读

相关 python爬取猫眼电影top100榜

python版本：3.6 代码如下 import json from multiprocessing.pool import Pool

「爱情、让人受尽委屈。」/ 2022年05月31日 01:29/ 0 赞/ 293 阅读

相关 python-猫眼爬虫Top100

import requests from requests.exceptions import RequestException from multiproces

灰太狼/ 2022年05月28日 00:51/ 0 赞/ 261 阅读

相关 Python爬虫笔记————抓取猫眼电影排行榜Top100

> 注：初学爬虫，本节仅使用requests库和使用正则作为解析工具最近学习爬虫，找个比较简单的网页练习了一下，作为初入爬虫的小白，不足之处还请大家多多指教。一、分

蔚落/ 2022年05月08日 02:26/ 0 赞/ 393 阅读

相关抓取猫眼电影排行

抓取首页首先我们定义一个get\_one\_page方法，来获取首页（http://maoyan.com/board/4 ）的源代码。获取源代码之后，解析页面，提取出我

柔情只为你懂/ 2022年02月14日 04:11/ 0 赞/ 300 阅读