python抓取csdn博客文章信息

刺骨的言语ヽ痛彻心扉 2022-07-14 12:24 244阅读 0赞

加User-Agent 为了防止403  
加ViewMode=contents是为了减少页面传输，不加载文章内容摘要，可以删掉

# coding=utf-8
    import urllib.request
    from urllib.parse import quote
    from bs4 import BeautifulSoup
    
    def get_article_all():
        url = "http://blog.csdn.net/bwlab/article/list/100000"
        headers = {
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36',
            'Cookie':'ViewMode=contents;',
        }
        request= urllib.request.Request(url,headers=headers)
        html = urllib.request.urlopen(request).read().decode("utf-8")
        soup = BeautifulSoup(html,"html.parser")
        article_all = soup.select('div[class="list_item list_view"]')
        for article in article_all:
            print("title:", article.select('span[class="link_title"]')[0].get_text().strip())
            print("url:", article.a["href"])
            print("date:",  article.select('span[class="link_postdate"]')[0].get_text().strip())
            print("view:", article.select('span[class="link_view"]')[0].get_text().strip().replace("阅读(","").replace(")",""))
            print("comments:",article.select('span[class="link_comments"]')[0].get_text().strip().replace("评论(", "").replace(")", ""))
    if __name__ =="__main__":
        get_article_all()

发表评论取消回复

表情：

评论列表（有 0 条评论，244人围观）

还没有评论，来说两句吧...

相关阅读

相关隐藏CSDN博客无用信息

一、油猴插件链接：[https://pan.baidu.com/s/1yZ8nnssZnh\_LiYKDabL5nw][https_pan.baidu.com_s_1y

浅浅的花香味﹌/ 2022年11月14日 10:10/ 0 赞/ 155 阅读

相关 Python爬虫实战：抓取博客文章列表

本文节选自《Python爬虫技术：深入理解原理、技术与开发》。 ![197cf1e5a091586e07209453d1556bf7.png][] 本文将实现可以抓取博客文

电玩女神/ 2022年11月05日 01:57/ 0 赞/ 279 阅读

相关编辑文章 - 博客频道 - CSDN.NET

判断原理： JavaScript是前端开发的主要语言，我们可以通过编写JavaScript程序来判断浏览器的类型及版本。JavaScript判断浏览器类型一般有两种办法，一种

冷不防/ 2022年08月06日 07:15/ 0 赞/ 232 阅读

相关 python抓取csdn博客文章信息

加User-Agent 为了防止403 加ViewMode=contents是为了减少页面传输，不加载文章内容摘要，可以删掉 coding=utf-8

刺骨的言语ヽ痛彻心扉/ 2022年07月14日 12:24/ 0 赞/ 245 阅读

相关使用Jsoup 抓取本人CSDN博客文章列表的数据

代码： package cn.test.webcap; import java.io.IOException; import java.s

Dear 丶/ 2022年06月12日 10:11/ 0 赞/ 279 阅读

相关 Python通过关键词爬取csdn博客文章

摘要：利用requests和BeautifulSoup，爬取网页的源代码，从而抓取到有用的字符信息后进行筛选与匹配。注：csdn提供有搜索栏，可以通过url链接直接进行搜索

绝地灬酷狼/ 2022年05月23日 13:28/ 0 赞/ 506 阅读

相关 python+shell 备份 CSDN 博客文章，CSDN博客备份工具

python+shell 备份 CSDN 博客文章，CSDN博客备份工具在 csdn 写了几年的博客了。多少也积累了两三百篇博文，近日，想把自己的这些文章全部备份下来，

不念不忘少年蓝@/ 2022年05月21日 04:00/ 0 赞/ 374 阅读

相关自动评论csdn博客文章实现

正文我们来用java代码爬取csdn博客网站，然后自动评论，这一波操作可以说是相当风骚了，话不多说，咱上代码。第一步是登录代码，这个网上一大把，代码中用到了jsou

小灰灰/ 2022年01月07日 07:23/ 0 赞/ 399 阅读

相关【csdn博客文章】导出备份

一、前言 1. 备份博客文章，以防丢失 2. 将博客文章转移到其它地方存放最近在朋友那儿了解到一款csdn博客导出工具，这里也分享给像我一样有需要的朋友~ 资

客官°小女子只卖身不卖艺/ 2021年12月12日 06:07/ 0 赞/ 345 阅读

相关 CSDN 搜索自己博客文章

很坑，csdn居然连搜索自己博客文章的功能都没有。只好使用google帮忙了。推荐个google代理：[https://g.sov5.cn/][https_g.sov5.

朱雀/ 2021年09月14日 06:32/ 0 赞/ 489 阅读