Python：爬取京东网站搜索java图书，并保存前4页的图书信息的图片

柔情只为你懂 2022-11-17 05:21 141阅读 0赞

**【问题】在京东网站搜索java图书，利用python爬取在搜索结果中前4页的图书信息的图片，并保存下来。**

#导入请求、报错模块&正则表达式类库
    import urllib
    import requests
    import re
    
    key_name = "java"
    for  i in range(1,5):
        #定义函数，将爬到的每一页的商品url写入到文件
        url = "https://search.jd.com/Search?keyword=" + key_name +"&enc=utf-8&page="+str(i)
        print(url)
        # 拿到每页源码
        headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36"}
        data1 = requests.get(url,headers =headers).content.decode()
    
        # with open("./1.html","w") as f:
        #     f.write(data1)
        #定义匹配规则
        pat = 'src="//(.*?).jpg"'
        #匹配到的所有图片url
        img_url = re.compile(pat).findall(data1)
        print(img_url)
    
        # #内层for循环将所有图片写到本地
        for a_i in range(0,len(img_url)):
            this_img = img_url[a_i]
            this_img_url = "http://"+this_img + ".jpg"
    
            #每张图片的url
            print(this_img_url)
            img_path = "./imagetb" + str(a_i)+".jpg"
            urllib.request.urlretrieve(this_img_url,img_path)

发表评论取消回复

表情：

评论列表（有 0 条评论，141人围观）

还没有评论，来说两句吧...

相关阅读

相关 scrapy爬取京东前后一星期图书价格

scrapy框架 Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用

布满荆棘的人生/ 2023年02月22日 14:58/ 0 赞/ 24 阅读

相关 java多线程爬图书图片

学习笔记仅供参考 1.xiancheng.class package com.example.util; import com.examp

忘是亡心i/ 2023年02月20日 07:58/ 0 赞/ 14 阅读

相关 Python：爬取京东网站搜索java图书，并保存前4页的图书信息的图片

【问题】在京东网站搜索java图书，利用python爬取在搜索结果中前4页的图书信息的图片，并保存下来。导入请求、报错模块&正则表达式类库 import u

柔情只为你懂/ 2022年11月17日 05:21/ 0 赞/ 142 阅读

相关 Python爬取当当、京东、亚马逊图书信息

注：1.本程序采用MS SQL server数据库存储，请运行程序前手动修改程序开头处的数据库链接信息 2.需要bs4、requests、pymssql库支持 3.支持多线

╰半夏微凉°/ 2022年10月01日 02:48/ 0 赞/ 238 阅读

相关 Python3爬虫实战之爬取京东图书图片

假如我们想把京东商城图书类的图片类商品图片全部下载到本地，通过手工复制粘贴将是一项非常庞大的工程，此时，可以用Python网络爬虫实现，这类爬虫称为图片爬虫，接下来，我们将实现

妖狐艹你老母/ 2022年06月10日 11:55/ 0 赞/ 315 阅读

相关基于Requests的Python爬虫入门实例------爬取豆瓣图书排行榜的前25本图书（小白福利）

话不多说，先上代码： -- coding:utf-8 -- import sys import requests import lx

落日映苍穹つ/ 2022年01月27日 11:17/ 0 赞/ 222 阅读

相关爬取豆瓣图书

未运行出想要的结果 -- coding:UTF-8 -- import sys import time import urllib

Bertha 。/ 2021年12月15日 08:11/ 0 赞/ 386 阅读

相关 Java保存图书信息

在本章《[Java字节流的使用][Java]》和《[Java字符流的使用][Java 1]》中已经详细介绍了字节、字符输入/输出流的应用，利用输出流我们可以将一些数据保存到磁盘

╰+哭是因爲堅強的太久メ/ 2021年12月10日 14:53/ 0 赞/ 244 阅读

相关爬取人民邮电新书30页的图书信息

爬取人民邮电新书30页的图书信息具体网址：http://ryjaoyu.com// 遇见的问题：一：有些图书信息没有价格，二：作者有多个三：最后一

悠悠/ 2021年09月21日 07:12/ 0 赞/ 246 阅读

相关 python爬虫爬取京东商品信息

python爬虫爬取京东商品信息话不多说，直接上代码！ import requests from bs4 import BeautifulSoup

超、凢脫俗/ 2021年07月26日 14:56/ 0 赞/ 922 阅读