爬取百度贴吧的完整实例

我就是我 2022-05-16 22:42 324阅读 0赞

\# !/usr/bin/env python  
\# \_\*\_ coding:utf-8 \_\*\_

import requests

class TiebaSpider(object):  
    def \_\_init\_\_(self):  
        self.tieba\_name = input('请输入贴吧名字:')  
        self.start\_page = int(input('请输入开始页:'))  
        self.end\_page = int(input('请输入结束页:'))

self.base\_url = 'https://tieba.baidu.com/f?'  
        self.headers = \{"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"\}

\# 1.发送请求  
    def send\_request(self, send\_params):  
        response = requests.get(self.base\_url, headers=self.headers, params=send\_params)  
        data = response.content.decode()  
        return data

\# 2.保存本地文件  
    def save\_data(self, data, page):  
        file\_path = 'Tieba/' + str(page) + '页.html'

print('正在下载\{\}页...'.format(page))

with open(file\_path, 'w') as f:  
            f.write(data)  
            print('保存完毕')

\# 3.调度  
    def run(self):  
        for page in range(self.start\_page, self.end\_page + 1):  
            \# 拼接参数  
            params = \{  
                'kw': self.tieba\_name,  
                'pn': (page - 1) \* 50  
            \}  
            \# 1.发送请求  
            data = self.send\_request(params)

\# 2.保存本地文件  
            self.save\_data(data, page)

if \_\_name\_\_ == '\_\_main\_\_':  
    tool = TiebaSpider()  
    tool.run()

发表评论取消回复

表情：

评论列表（有 0 条评论，324人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python，网络爬虫爬取百度贴吧元数据存入excel

import requests import re import time import pandas as pd from tqdm

谁借莪１个温暖的怀抱￠/ 2022年12月29日 09:47/ 0 赞/ 232 阅读

相关 15-python爬取百度贴吧

让我们爬取百度贴吧旅游信息，看看哪些地方是大家旅游关注的热点。不要问我这个十一去哪儿旅游了，我还在家没日没夜的码代码。这次我们用 `urllib` 爬取页面，再用`Be

今天药忘吃喽~/ 2022年12月18日 15:55/ 0 赞/ 238 阅读

相关 15-python爬取百度贴吧-excel存储

让我们爬取百度贴吧旅游信息，看看哪些地方是大家旅游关注的热点。不要问我这个十一去哪儿旅游了，我还在家没日没夜的码代码。这次我们用 `urllib` 爬取页面，再用`Be

忘是亡心i/ 2022年12月13日 04:22/ 0 赞/ 169 阅读

相关【爬虫实例】林青霞女神照片爬取——百度贴吧

记得事前备文件夹保存图片！！！ import time import requests head = { 'User-Ag

电玩女神/ 2022年10月04日 15:53/ 0 赞/ 243 阅读

相关 python实现爬取百度贴吧图片

本文最初参考： http://www.cnblogs.com/fnng/p/3576154.html\!comments 有一个缺点就是只能爬取网页的第一页的图片，而

系统管理员/ 2022年09月28日 11:42/ 0 赞/ 311 阅读

相关爬取百度贴吧所有精品贴照片

coding=utf-8 import os import random import requests from lxml impor

谁借莪１个温暖的怀抱￠/ 2022年06月05日 03:56/ 0 赞/ 272 阅读

相关爬取百度贴吧某帖子的所有照片

coding=utf-8 import random import requests import urllib.request as urll

╰+哭是因爲堅強的太久メ/ 2022年06月05日 03:26/ 0 赞/ 273 阅读

相关 python3爬取指定百度贴吧页面并保存成本地文档（批量爬取贴吧页面数据）

首先我们创建一个python文件, tieba.py，我们要完成的是，输入指定百度贴吧名字与指定页面范围之后爬取页面html代码，我们首先观察贴吧url的规律，比如：

淡淡的烟草味﹌/ 2022年06月01日 05:38/ 0 赞/ 341 阅读

相关爬取百度贴吧的完整实例

\ !/usr/bin/env python \ \_\\_ coding:utf-8 \_\\_ import requests class TiebaS

我就是我/ 2022年05月16日 22:42/ 0 赞/ 325 阅读

相关 java爬取百度贴吧所有用户头像

第一次写爬虫，觉得蛮有意思的写了个爬取贴吧用户头像的工具类如有问题，多多指教~ 爬虫工具类 package com.yq.spider; import jav...

灰太狼/ 2020年11月01日 15:17/ 0 赞/ 724 阅读