Python自动登陆淘宝并爬取商品数据

不念不忘少年蓝@ 2022-12-25 03:57 321阅读 0赞

## 前言 ##

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

## 基本开发环境 ##

*  Python 3.6
 *  Pycharm

import time
    from selenium import webdriver
    from selenium.webdriver.chrome.options import Options
    import csv

相关模块pip安装即可

## selenium ##

Selenium 是一个 Web 的自动化测试工具，最初是为网站自动化测试而开发的，就像玩游戏用的按键精灵，可以按指定的命令自动操作。

Selenium 测试工具直接操控浏览器中，就像真正的用户在操作一样。Selenium 可以根据的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生等。

**模块安装**

pip install selenium

谷歌驱动下载地址：

https://npm.taobao.org/mirrors/chromedriver/

http://chromedriver.storage.googleapis.com/index.html

配置浏览器驱动：

将下载好的浏览器驱动解压，将解压出的 `exe` 文件放到Python的安装目录下，也就是和`python.exe`同目录即可。

或者把驱动和代码放在同一个路径里面。

## 确定目标网页 ##

![bb10fd114971e45371dfbfc5fde77e84.png][]

爬取内容：

*  商品名字
 *  商品店铺
 *  价格
 *  成交量
 *  发货地址

1、获取搜索框元素，输入想要搜索的内容 这里咱们搜索女士包包的关键词

driver.find_element_by_css_selector('#q').send_keys('口红')

2、获取搜索按钮元素，点击搜索

driver.find_element_by_css_selector('.search-button').click()

3、会弹出登陆页面

![97332d8ff9065775761aa5741d3ffc3d.png][]

**方式一：**

点击二维码，手动扫码登陆淘宝；

**方式二：**

获取账号和密码元素，用代码输入~；

**注意点：如果账号密码输入过快，会出现滑块验证，输入的频率控制好，可以避免出现验证码，实现自动输入账号密码登陆。**

**4、获取页面每个商品元素**

![3e0f324f49c962b2ae6c863a69879994.png][]

每一个商品信息都包含在div标签里面，先获取所有div标签元素，然后再遍历获取每一个商品的详细信息。

lis = driver.find_elements_by_css_selector('#mainsrp-itemlist .item')
        for li in lis:
            time.sleep(1)
            price = li.find_element_by_css_selector('.ctx-box .price strong').text + '元'  # 商品价格
            deal = li.find_element_by_css_selector('.ctx-box .deal-cnt').text  # 成交量
            row = li.find_element_by_css_selector('.ctx-box .row-2 a').text  # 商品名字
            shop = li.find_element_by_css_selector('.shop > a > span:nth-child(2)').text  # 店铺名字
            city = li.find_element_by_css_selector('.row-3 > div.location').text  # 发货地址

**注意点：可以稍加延时，避免页面没有加载完成导致网页元素获取不到的报错问题**

获取商品数据之后，可以通过csv文件把相关内容保存至本地

**5、保存数据**

f = open('淘宝数据.csv', mode='a', encoding='utf-8-sig', newline='')
    csv_writer = csv.DictWriter(f, fieldnames=['商品价格', '成交量', '商品名字', '店铺名字', '发货地址'])
    csv_writer.writeheader()
    """
    写入第四步
    """
            dit = {
                '商品价格': price,
                '成交量': deal,
                '商品名字': row,
                '店铺名字': shop,
                '发货地址': city,
            }
            csv_writer.writerow(dit)

这样一页的商品数据就可以保存下来了，我们想要获取的数据肯定是不仅一页

**6、翻页**

![1e071dcbb3ec591a18cb0adcc7141794.png][]

获取下一页元素，进行点击

def next_page():
        time.sleep(1)
        driver.find_element_by_css_selector(
            '#mainsrp-pager > div > div > div > ul > li.item.next > a > span:nth-child(1)').click()
        driver.implicitly_wait(10)

**7、实现效果**

![e928c1d6a4e24d567e084684f0bab0a6.png][]

![deda353e4af46734e286baf588cfafc1.png][]

[bb10fd114971e45371dfbfc5fde77e84.png]: /images/20221120/73878f16161a440a90756266716e2e07.png
[97332d8ff9065775761aa5741d3ffc3d.png]: /images/20221120/d07f4cc17a654951b208f6124cd03702.png
[3e0f324f49c962b2ae6c863a69879994.png]: /images/20221120/66355f32c47c4c37be29a85d1501632c.png
[1e071dcbb3ec591a18cb0adcc7141794.png]: /images/20221120/3f79870877c44ddeb354ecec8cde6545.png
[e928c1d6a4e24d567e084684f0bab0a6.png]: /images/20221120/7bb0dc45d3a54a9ca43a2d721f6c8a96.png
[deda353e4af46734e286baf588cfafc1.png]: /images/20221120/6794f98b0c7047489e4c77643db24b96.png