淘宝搜索定向爬取

Myth丶恋晨 2022-09-30 06:48 308阅读 0赞

注意：依据每个关键词的不同，正则表达式可能需要需改。本例中正则表达式，仅对应于本例中关键词。

import requests,re
    
    def getHTMLText(url):
        try:
            r = requests.get(url,timeout=30)
            r.raise_for_status()
            r.encoding = r.apparent_encoding
            return r.text
        except:
            return ''
    
    
    def parserHTML(infoList,html):
         try:
            plt = re.findall(r'\"price\"\:\"[\d\.]*\"',html)
            tlt = re.findall(r'\"title\"\:\".*?\"',html)
            for i in range(len(plt)):
                price = eval(plt[i].split(':')[1])
                title = eval(tlt[i].split(':')[1])
                infoList.append([price , title])
         except:
            print("")
    
    def printInfo(infoList):
        tplt = '{:4}\t{:6}\t{:18}'
        print(tplt.format('序号','价格','名称'))
        count = 1
        for il in infoList:
            print(tplt.format(count,il[0],il[1]))
            count += 1
    
    def main():
        deep = 5
        keyword = '笔记本电脑'
        url = 'https://s.taobao.com/search?q=' + keyword
        infoList = []
        for i in range(deep):
            try:
                tempUrl = url + '&s=' + str(44*i)
                html = getHTMLText(tempUrl)
                parserHTML(infoList,html)
            except:
                continue
        printInfo(infoList)
    
    main()

![SouthEast][]

[SouthEast]: /images/20220708/8f7ea33acb994ab7a1e1673924654e93.png

发表评论取消回复

表情：

评论列表（有 0 条评论，308人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python 爬淘宝网

-- coding:utf-8 -- import requests import Debug from bs4 import Beautif

╰+攻爆jí腚メ/ 2024年02月19日 21:20/ 0 赞/ 55 阅读

相关用Python爬取淘宝2000款T T

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者：裸睡的猪 PS：如有需要Pytho

桃扇骨/ 2023年02月11日 07:29/ 0 赞/ 6 阅读

相关 Python自动登陆淘宝并爬取商品数据

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。基本开发环境 Python 3.6 Pyc

不念不忘少年蓝@/ 2022年12月25日 03:57/ 0 赞/ 321 阅读

相关淘宝搜索定向爬取

注意：依据每个关键词的不同，正则表达式可能需要需改。本例中正则表达式，仅对应于本例中关键词。 import requests,re def getH

Myth丶恋晨/ 2022年09月30日 06:48/ 0 赞/ 309 阅读

相关 python爬虫爬取淘宝网页数据

O、requests 和 re 库的介绍 requests库是一个小型好用的网页请求模块，可用于网页请求，常用来编写小型爬虫安装requests可以使用pip命令：

Bertha 。/ 2022年06月07日 12:16/ 0 赞/ 559 阅读

相关学习用java基于webMagic+selenium+phantomjs实现爬虫Demo爬取淘宝搜索页面

[学习用java基于webMagic+selenium+phantomjs实现爬虫Demo爬取淘宝搜索页面][java_webMagic_selenium_phantomjs

水深无声/ 2022年06月03日 06:07/ 0 赞/ 387 阅读

相关 python 爬取淘宝商品

coding:utf-8 from selenium import webdriver from selenium.common.exceptions

ゝ一纸荒年。/ 2022年05月20日 10:15/ 0 赞/ 371 阅读

相关 scrapy 爬取淘宝商品评论信息

爬虫最后要达到的效果，是将某分类下，第一页的所有商品的评论保存至mysql中。具体会保存评论日期、评论id、评论内容、商品链接和商品id。 ![在这里插入图片描述][

深碍√TFBOYSˉ_/ 2022年05月09日 02:10/ 0 赞/ 427 阅读

相关使用Appium爬取淘宝App数据

0x01、介绍说明 1、简介 [Appium][]是一个自动化测试开源工具。通过WebDriver协议驱动IOS、Android、Windows Phone平台上的

雨点打透心脏的1/2处/ 2022年01月20日 08:23/ 0 赞/ 880 阅读

相关 python爬虫——淘宝爬取

python爬虫爬取淘宝商品信息话不多说，直接上代码！ import re from selenium import webdriver fr

墨蓝/ 2021年07月26日 16:07/ 0 赞/ 780 阅读