17-用python找女神什么感觉！

青旅半醒 2022-12-18 15:55 307阅读 0赞

今天咱们要爬取花瓣网 https://huaban.com/ 设计师寻找灵感的天堂!有海量的图片素材可以下载,是一个优质图片灵感库

这次我们用 `requests` 登录花瓣网，爬取页面，再用`正则与json`提取有用信息，最后把获取的图片信息 保存到本地

## 一 、用到技术 ##

•`python 基础`•`requests` 登录页面获取session用户会话，下载图片•`正则表达式` 提取页面的有用信息•`json`解析页面中的图片

## 二、 目标页面 ##

`https://huaban.com/search/?q=女神&category=photography`![null][]

## 三、结果 ##

![null][null 1]

## 四、安装 必要的库 ##

•win+R 打开运行•输出cmd 进入控制台•分别安装`requests`

pip install  requests

## 五、分析页面 ##

1.页面规律 我们单击分页按钮，拿到页面最后一个参数的规律 第一页：`https://huaban.com/search/?q=女神&category=photography&page=1` 第二页：`https://huaban.com/search/?q=女神&category=photography&page=2`

2.登录![null][null 2]

通过Fiddler我们查看到登录请求的地址和参数

# 地址
    https://huaban.com/auth/
    # 参数
     "email": "******",
     "password": "*****",
     "_ref":"frame"

我决定使用`requests`的`session()`功能来获取用户登录后的会话session信息

### 3. 页面信息 ###

我们通过右键查看源代码发现数据是保存在`javascript`里面的我们准备用正则表达式提取页面信息

![format_png][]

### 4. 图片地址 ###

我们在网页中复制一张图片的地址，我们发现所有图片地址都是：

**https://hbimg.huabanimg.com/****3****2****86081ba1b365db5cc54112cb1f4dc3238ffceb5fbe-aJMH3i**

都是以域名加一段hash值来确定的

我们在源文件中也查看到这段hash值为对应的key

![format_png 1][]

![format_png 2][]

## 六、全部代码 ##

#-*- coding:utf-8 -*-
    import requests
    import re
    import json
    # 导入 requests  re正则 json
    
    
    '''
    login
    登录花瓣 获取session
    '''
    def login():
        login_url = 'https://huaban.com/auth/'
        # 登录地址
        headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0",
            "Accept": "application / json",
            "Content-type": "application/x-www-form-urlencoded; charset=utf-8",
            "Referer": "https://huaban.com/",
        }
        # 请求头信息
    
    
        session = requests.session()
        #sesson 会话
    
    
        login_data = {
            "email": "替换成自己的用户名",
            "password": "替换成自己的密码",
            "_ref":"frame"
        }
    
    
        response = session.post(login_url, data=login_data, headers=headers,verify=False)
        # 登录页面
        getPic(session,5)
        # 获取图片，前5页
    
    
    
    
    '''
    getPic
    解析页面中的图片地址
    session 会话信息
    num     最大是页数
    '''
    def getPic(session,num):
        for i in range(1,num+1):
            response = session.get("https://huaban.com/search/?q=%E5%A5%B3%E7%A5%9E&category=photography&page="+str(i))
            # 获取页面信息（"美女"文字编码后的结果是"%E5%A5%B3%E7%A5%9E" ）
            data = re.search('app\.page\[\"pins\"\] =(.*);\napp.page\[\"page\"\]', response.text, re.M | re.I | re.S)
            # 提取到当前页面所在的所有图片信息
            data = json.loads(data.group(1))
            # 转换字符串为列表
            for item in data:
                url = "https://hbimg.huabanimg.com/" + item["file"]["key"]
                # 拼接图片地址
                index = item["file"]["type"].rfind("/")
                type = "."+item["file"]["type"][index + 1:]
                # 获取图片的类型
                file_name = item["raw_text"]
                # 获取图片的中文名
                download_img(url, file_name,type)
                # 下载图片
    
    
    '''
    下载图片
    url        图片的地址
    name   图片的中文名
    type     图片的类型
    '''
    def download_img(url,name,type):
        response = requests.get(url,verify=False)
        # 使用requests 下载图片
        index = url.rfind('/')
        file_name = name+url[index + 1:]+type
        # 获取图片的hash值
        print("下载图片：" + file_name)
        # 打印图片名称
        save_name = "./photo/" + file_name
        # 图片保存的地址（注意photo要自己建一个，与当前.py文件同一个文件夹）
        with open(save_name, "wb") as f:
            f.write(response.content)
            # 写入图片到本地
    '''
    定义主函数
    '''
    def main():
        login()
    
    
    # 如果到模块的名字是__main__ 执行main主函数
    if __name__ == '__main__':
        main()

单词表

main 主要的        login 登录
    response 响应      content 内容
    write 写入         save 保存
    print 打印         rfind 从右边查找
    download 下载      type 类型
    group 组           search 查找
    session 会话       group 组
    headers 头部       data 数据
    request  请求      coding 编码格式

《0基础python爬虫系列教程》

<table> 
 <tbody> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320125dc458833960e697aa9cf6efd4beda9850e74d05c284f0a9946d98fa93bb12a4324b3&amp;idx=2&amp;mid=2247485516&amp;scene=21&amp;sn=bb0633aa198a9ac55bfa74060155ee74#wechat_redirect" rel="nofollow">01为什么要学习爬虫</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320103dc45881592fa51bd62b7d7820b4b506c4a3933a9fad6833d49ce360294f2fe0c6402&amp;idx=2&amp;mid=2247485546&amp;scene=21&amp;sn=9467b8493b4a252d7c39799e58813575#wechat_redirect" rel="nofollow">02-认识python爬虫</a></td> 
  </tr> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320103dc4588155293377a2843fc247e3c404f19eb523b875e988e64bc544d98c1b8d7854b&amp;idx=3&amp;mid=2247485546&amp;scene=21&amp;sn=e588e1f9b369323817acb125a7a2fa13#wechat_redirect" rel="nofollow">03-爬虫基本原理</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320065dc458973634e1f97683d26b920c3b23dd975286c595065c0e44c3f13a8c74274f7a2&amp;idx=2&amp;mid=2247485708&amp;scene=21&amp;sn=02145cd8d7f0ba50be1ad4f83e60c12b#wechat_redirect" rel="nofollow">04-爬虫利器Fiddler</a></td> 
  </tr> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320065dc4589730f0f40ed783f45d1a71974a3037ede904e68fe967752f2def4daf04a8e16&amp;idx=3&amp;mid=2247485708&amp;scene=21&amp;sn=9fe3f40863c13431a80abb6a11bc8f1a#wechat_redirect" rel="nofollow">05-HTTP协议</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320047dc458951e91b4f5ac10d8580840e3fd8aa63ac8c217f8df2d9c643cbda75c22def9f&amp;idx=2&amp;mid=2247485742&amp;scene=21&amp;sn=6be1c823ade912410f109a7f42ffffd3#wechat_redirect" rel="nofollow">06-爬虫库urllib</a></td> 
  </tr> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320047dc4589512a5d2062893b86474a037111067d05b57c04355b967c22b04ce3395ea96f&amp;idx=3&amp;mid=2247485742&amp;scene=21&amp;sn=7a54ccaa4836d2a7e5128f233e8c9e5d#wechat_redirect" rel="nofollow">07-TCP3</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb32003bdc45892d17198bb56448b4600aabd63c84667dccd8fc032647300da843d0ea15be88&amp;idx=3&amp;mid=2247485778&amp;scene=21&amp;sn=f086472aa06577ab8c0567a927721994#wechat_redirect" rel="nofollow">08-页面解析之数据提取</a></td> 
  </tr> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb32003bdc45892dc9d2ae5b11e1ec1357a1d2884ad3d1de51775c02a3045c336068e2ba3b37&amp;idx=2&amp;mid=2247485778&amp;scene=21&amp;sn=adbe45fd796a285d8c54f38d2727c496#wechat_redirect" rel="nofollow">09-XPath 语言</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb32000edc45891837fbcaa3dc21becf71e86dcd25f599e7d8f59158bf339ddaad9f4c75dd90&amp;idx=2&amp;mid=2247485799&amp;scene=21&amp;sn=6ed8d9212f4bfb4d710523dfb478e9c4#wechat_redirect" rel="nofollow">10-lxml库</a></td> 
  </tr> 
  <tr> 
   <td colspan="1"><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320010dc458906991372249d605f7ac28b1bf649ce55cf5ba1255b42d9b153b003d6c9ccfd&amp;idx=2&amp;mid=2247485817&amp;scene=21&amp;sn=fc3c41347968b123ed51d0c61508428c#wechat_redirect" rel="nofollow">11-Beautiful Soup</a><br></td> 
   <td colspan="1"><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb3200d6dc4589c005e613206c66915ef25f8740c3947a1cdac2a3f20135dad3b464c64cf5df&amp;idx=2&amp;mid=2247485887&amp;scene=21&amp;sn=9140a4874523e0e2aec3252577ab12a6#wechat_redirect" rel="nofollow">12-正则表达式</a><br></td> 
  </tr> 
  <tr> 
   <td colspan="1"><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320081dc45899750dfcf9a04789b5a16668d03245d868f182b24b5e8f3914151895e423d25&amp;idx=2&amp;mid=2247485928&amp;scene=21&amp;sn=79e235db280e4faad16141a22c06e37a#wechat_redirect" rel="nofollow">13-python爬虫JSON操作</a><br></td> 
   <td colspan="1"><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb3203bedc458aa8087e8db11b91a93ad354f971089bf1652e260a489b6c33fc39dc1178e401&amp;idx=2&amp;mid=2247486167&amp;scene=21&amp;sn=df18b573a89b0854f1c8b400a81fb61e#wechat_redirect" rel="nofollow">14-Python 读写 Excel</a><br></td> 
  </tr> 
  <tr> 
   <td colspan="1"><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb3203b3dc458aa530bd360b1e1753e719eb918e17abbc817e989be7afee9546edaf68fad65f&amp;idx=2&amp;mid=2247486170&amp;scene=21&amp;sn=46400af957698441417a38c089086cef#wechat_redirect" rel="nofollow">15-python爬取百度贴吧</a><br></td> 
   <td colspan="1"><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320262dc458b74b4240df36f4c0aa85002c830a31f5a73f3586b4c6a4eee5dece89f3bb95b&amp;idx=1&amp;mid=2247486219&amp;scene=21&amp;sn=4e67cdc8f3acb32d0c2a4d199612625f#wechat_redirect" rel="nofollow">16-python之Requests库</a><br></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td align="center"><p><img src="https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy85eTFUZUhZejFBenluRzJDaWFvTElXMDRZbmNMcmlhdUhIc2NBeWFUaWE2MnNPdHJCZmtzQ3F1ME93ZWliaWFMYkZUaWJCMzk0dXF5MUlJWHYxOGJyY3E5M0pTdy82NDA?x-oss-process=image/format,png"></p><p>IT入门&nbsp;感谢关注</p></td> 
   <td align="left"><p>一学就会&nbsp;Python入门教程 →</p><p>程序员用的单词表→</p><p>练习地址：www.520mg.com/it</p></td> 
  </tr> 
 </tbody> 
</table>

[null]: /images/20221122/3b2cf856d97e4a45bceab843755d0459.png
[null 1]: /images/20221122/4bbd4632e3604ee68e319aa2b43b4431.png
[null 2]: /images/20221122/a30010344bb540f092db1695684d7930.png
[format_png]: /images/20221122/d6eccdc033f24ee6a85f594a317bc083.png
[format_png 1]: /images/20221122/6f7f5b36209d44fb96ff84aa6be8b4fd.png
[format_png 2]: /images/20221122/818842331e4e4dfea82bef7f581f3ce8.png