ajax爬虫专业,ajax爬虫

深碍√TFBOYSˉ_ 2022-09-03 11:20 309阅读 0赞

import requests

url = 'https://m.weibo.cn/api/container/getIndex';

headers = \{

'Host': 'm.weibo.cn',

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10\_13\_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36',

'X-Requested-With': 'XMLHttpRequest',

\}

def get\_page(page):

params = \{

'containerid': '2304132830678474\_-\_WEIBO\_SECOND\_PROFILE\_WEIBO',

'page\_type': '03',

'page': page

\}

try:

response = requests.get(url, params=params)

if response.status\_code == 200:

return response.json()

except requests.ConnectionError as e:

print('Error', e.args)

from pyquery import PyQuery as pq

def parse\_pase(json):

if json:

items = json.get('data').get('cards')

for item in items:

item = item.get('mblog')

weibo = \{\}

weibo\['id'\] = item.get('id', 'NULL')

if(weibo\['id'\] == 'NULL'):

continue

weibo\['text'\] = pq(item.get('text')).text()

weibo\['attitudes\_count'\] = item.get('attitudes\_count')

yield weibo

if name == "main":

for page in range(2, 20):

json = get\_page(page)

results = parse\_pase(json)

for result in results:

print(result)

发表评论取消回复

表情：

评论列表（有 0 条评论，309人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python 爬虫开发：Ajax请求响应json案例

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

雨点打透心脏的1/2处/ 2023年10月07日 10:42/ 0 赞/ 11 阅读

相关 ajax 方式的python爬多条新闻内容和爬虫思路

文章目录 1、先爬新闻的列表 1.1 全代码 2、再把单个的新闻内容取出来 2.1全代码

小鱼儿/ 2023年01月17日 08:57/ 0 赞/ 145 阅读

相关 java 爬取ajax,R语言爬虫系列4|AJAX与动态网页介绍

原标题：R语言爬虫系列4|AJAX与动态网页介绍作者：鲁伟，热爱数据，坚信数据技术和代码改变世界。R语言和Python的忠实拥趸，为成为一名未来的数据科学家而奋斗终生。个人

「爱情、让人受尽委屈。」/ 2023年01月15日 13:28/ 0 赞/ 152 阅读

相关 Python3爬虫中Ajax的用法

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/ 友情链接： [高州阳光论坛][Link 2]https://www.hnt

比眉伴天荒/ 2022年12月27日 09:08/ 0 赞/ 226 阅读

相关 Python3爬虫中关于Ajax分析方法的总结

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/ 友情链接： [高州阳光论坛][Link 2]https://www.hnt

朱雀/ 2022年12月27日 09:08/ 0 赞/ 153 阅读

相关爬虫---高性能爬虫

目录一：单线程爬虫： 1：新浪图片NBA标题和图片的爬取：二：多线程爬虫： 1：回顾多线程的方法：

灰太狼/ 2022年11月20日 01:51/ 0 赞/ 255 阅读

相关 phantomjs java 爬虫_java网络爬虫-利用phantomjs和jsoup爬取动态ajax加载页面

java基于windows爬取ajax加载的动态页面需要一定的辅助工具支持，本文爬取ajax加载的动态页面所使用的工具是phantomJS(关于phantomJS的介绍百度一大

柔光的暖阳◎/ 2022年11月02日 13:13/ 0 赞/ 266 阅读

相关 ajax分布式,支持AJAX的分布式爬虫系统的研究与实现

摘要：现代社会互联网技术日新月异,互联网产品也如雨后春笋一般层出不穷,AJAX技术越来越受到开发者的青睐。此技术对传统的网络爬虫却是不友好的,使用传统的网页抓取方式获得内容

骑猪看日落/ 2022年09月03日 15:24/ 0 赞/ 156 阅读

相关 ajax爬虫专业,ajax爬虫

import requests url = 'https://m.weibo.cn/api/container/getIndex'; headers = \{ 'Host

深碍√TFBOYSˉ_/ 2022年09月03日 11:20/ 0 赞/ 310 阅读

相关今天终于把爬虫的Ajax请求搞懂了

今天终于把爬虫的Ajax请求搞懂了文章目录今天终于把爬虫的Ajax请求搞懂了一、案例分析及存在的问题二、问题的解决

小咪咪/ 2021年09月08日 05:48/ 1 赞/ 431 阅读