python-之爬虫学习

叁歲伎倆 2023-02-11 08:55 31阅读 0赞

一、安装[requests库][requests]

pip install requests

二、引入requests

imprt requests

get 请求

r = requests.get("https://unsplash.com")

payload = \{'key1': 'value1', 'key2': 'value2'\}

r = requests.get("http://httpbin.org/get", params=payload)

POST请求

无参数的post请求：  
`r = requests.post("http://httpbin.org/post")`  
有参数的post请求：

payload = \{'key1': 'value1', 'key2': 'value2'\}

r = requests.post("http://httpbin.org/post", data=payload)

其他请求

r = requests.put("http://httpbin.org/put")

r = requests.delete("http://httpbin.org/delete")

r = requests.head("http://httpbin.org/get")

r = requests.options("http://httpbin.org/get")

# [BeautifulSoup库][BeautifulSoup]的使用 #

使用BeautifulSoup4

安装beautifulsoup4

pip install beautifulsoup4

安装 lxml

pip install lxml

from bs4 import BeautifulSoup
    
    html_doc = """
    <html><head><title>The Dormouse's story</title></head>
    <body>
    <p class="title"><b>The Dormouse's story</b></p>
    <p class="story">Once upon a time there were three little sisters; and their names were
    <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
    <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
    <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
    and they lived at the bottom of a well.</p>
    
    <p class="story">...</p>
    """
    soup = BeautifulSoup(html_doc, 'lxml')  #声明BeautifulSoup对象
    find = soup.find('p')  #使用find方法查到第一个p标签
    print("find's return type is ", type(find))  #输出返回值类型
    print("find's content is", find)  #输出find获取的值
    print("find's Tag Name is ", find.name)  #输出标签的名字
    print("find's Attribute(class) is ", find['class'])  #输出标签的class属性值
    print('NavigableString is：', find.string)

[requests]: https://www.cnblogs.com/Albert-Lee/p/6230337.html
[BeautifulSoup]: https://www.cnblogs.com/Albert-Lee/p/6232745.html

发表评论取消回复

表情：

评论列表（有 0 条评论，31人围观）

还没有评论，来说两句吧...

相关阅读

相关 python-之爬虫学习

一、安装[requests库][requests] pip install requests 二、引入requests imprt requests get

叁歲伎倆/ 2023年02月11日 08:55/ 0 赞/ 32 阅读

相关 python爬虫学习

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

喜欢ヅ旅行/ 2022年10月05日 04:48/ 0 赞/ 239 阅读

相关 Python学习之多进程并发爬虫

> 以前做过Python的爬虫，不过那只爬取贴吧内容，比较简单，只是用来刚开始练练手的。这段时间又重新看Python，看到了正则表达式，于是想对爬虫再深入的了解下，主要是对爬虫

落日映苍穹つ/ 2022年10月01日 02:51/ 0 赞/ 167 阅读

相关 python学习之爬虫网页练习

import re import requests def get_url(): response = r

阳光穿透心脏的1/2处/ 2022年05月21日 10:04/ 0 赞/ 248 阅读

相关 Python爬虫之学习案例

Python爬虫一、爬虫是什么 > 是一段代码，用于获取网页上的信息 > > 几乎所有主流的高级程序设计语言都能实现爬虫二、爬虫的实现原理通过代码

拼搏现实的明天。/ 2022年05月15日 04:20/ 0 赞/ 276 阅读

相关 python 学习爬虫教程~

[python 学习爬虫教程~][python] 思路：：（本文没有用xpath定位，xpath需要导入第三方库 from lxml import etree）

骑猪看日落/ 2022年04月23日 00:20/ 0 赞/ 278 阅读

相关 python 爬虫基础学习

[原址][Link 1] 摘要： From：https://piaosanlang.gitbooks.io/spiders/content/ 爬虫入门初级篇 IDE

你的名字/ 2022年04月22日 01:58/ 0 赞/ 358 阅读

相关学习笔记之Python爬虫

Python 爬虫介绍 | 菜鸟教程 http://www.runoob.com/w3cnote/python-spider-intro.html https:/

以你之姓@/ 2022年01月09日 10:39/ 0 赞/ 339 阅读

相关 Python爬虫学习（二）

这一篇学习的是利用urllib.urlopen向有道翻译发送数据获得翻译结果 urllib.request.urlopen（url，data=None,

骑猪看日落/ 2021年09月26日 22:48/ 0 赞/ 400 阅读

相关 python爬虫学习（一）

学习Python爬虫是一个很头疼的事，尤其是英语不是太好的，，，，不过学会了很有用处，本着这个想法，我开始了艰难的学习过程,。鉴于网上

一时失言乱红尘/ 2021年09月26日 22:46/ 0 赞/ 456 阅读