Python爬虫-爬998KA网站的所有商品信息

迈不过友情╰ 2023-06-11 13:27 10阅读 0赞

此专栏用来记录爬各类网站商品信息的Python代码，以便回忆~（谁让博主记性不好咧~）

此次爬虫是关于998KA的商品信息，如果有需要998KA.CN.csv文件的童鞋可以去我的博客上下载，可以看看998KA网站内商品信息的具体内容，方便深入理解代码~

# ！/usr/bin/env python
    
    import re
    import requests
    from lxml import etree
    import time
    
    
    Max = 500  # 每获取到500个商品的信息, 保存一次, 调试时可以改为10, 方便看到结果
    # xpath获取数据的规则
    get_cateid_rule = '//select[@name="cateid"]/option/attribute::value'  # 从网页源码中获取分类的id的xpath规则
    get_catename_rule = '//select[@name="cateid"]/option/text()'  # 从网页源码中获取分类的名字的xpath规则
    gonggao_rule = r'//div[contains(@class, "boxcon")]/span/text()'   # 从网页源码中获取商户公告的标识的xpath规则
    
    get_good_list_payload = "cateid=%s"  # 发送post请求时的data部分,这里使用了格式化的表示方法, 使用%s占位符(类似c中的%s)
    get_good_info_payload = "goodid=%s"
    # 获取信息的url
    pingtai = "http://wwww.998ka.cn/"
    cate_ajax = "http://wwww.998ka.cn/ajax/getgoodlist"  # 获取goods_list的url地址
    good_ajax = "http://wwww.998ka.cn/ajax/getgoodinfo"  # 获取具体商品信息的url地址
    # 请求头字典
    headers = {
        'Cookie': "_qddaz=QD.i3wgpi.5be72m.jxyrtpbm; pgv_pvi=8245519360; pgv_si=s9958262784; Hm_lvt_d7682ab43891c68a00de46e9ce5b76aa=1563082827; __jsluid_h=6130e5c13d16e6f3382281a282d4a535; Hm_lvt_d7682ab43891c68a00de46e9ce5b76aa=1563082904; Hm_lpvt_d7682ab43891c68a00de46e9ce5b76aa=1563082904; Hm_lpvt_d7682ab43891c68a00de46e9ce5b76aa=1563082914; PHPSESSID=ggtkdgh2m11345i97lok1ce203; IESESSION=alive; tencentSig=5170108416; _qddab=3-ksdh2e.jy2kwcul",
        'Origin': "http://wwww.998ka.cn",
        'Accept-Encoding': "gzip, deflate",
        'Accept-Language': "zh-CN,zh;q=0.9",
        'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36",
        'Content-Type': "application/x-www-form-urlencoded; charset=UTF-8",
        'Accept': "*/*",
        'Referer': "http://wwww.998ka.cn/links/E585221043918FB0",
        'X-Requested-With': "XMLHttpRequest",
        'Connection': "keep-alive",
        'Cache-Control': "no-cache",
        'Postman-Token': "24eb553c-79d0-4bc9-90cb-9daa063950b7,b20edaf9-53f0-4e44-96cf-d6a9a4cb6c8b",
        'Host': "wwww.998ka.cn",
        'content-length': "10",
        'cache-control': "no-cache"
        }
    
    
    def remove(data):
        """
        去除获取的文本中的转义字符,方便保存
        """
        return str(data).replace('\n', '').replace(' ', '') \
            .replace('\t', '').replace('\r', '')
    
    
    def get_all_url():
        """
        将csv文件中的所有url进行分类，找出其中的店铺url
        """
        shop_url = []
        with open('998KA.CN.csv', 'r', encoding='utf-8') as f:
            all_lines = f.readlines()  # 从文件中一行一行读取数据，并返回一个列表
        # print(all_lines)
        for line in all_lines:
            tmp = line.split(',')  # 用逗号分隔每一行的数据，并存在数组里
            url = tmp[0]
            if 'cate' in url:  # 含有'cate'、'links'、'product'这些关键字的就是店铺url
                shop_url.append(url)
            if 'links' in url:
                shop_url.append(url)  # 在列表的末尾添加这些url
            if 'product' in url:
                shop_url.append(url)
        with open('998ka.txt', 'w', encoding='utf-8') as f1:  # 将url存进文件中
            for i in shop_url:
                f1.write(i + '\n')
        return shop_url
    
    
    def get_goodids(session, url, cateid):
        """
            根据商品列表的id,获得下面所有商品的id和name
            :param session:
            :param url:
            :param cateid:
            :return: ids, names
            """
    
        payload = get_good_list_payload % (cateid)  # 格式化构造字符串, get_good_list_payload 这个变量中有两个%s占位符,
        # print(payload)                                  #在后面加上 % (cateid)后, 会自动将后面的两个变量填充到对应位置
        try:
            res = session.post(cate_ajax, data=payload, headers=headers)
        except Exception as e:
            print(url, e)
            return None
        # 返回商品的id和name信息
        else:
            if 'option' not in res.text:
                print("此分类下没有商品", cateid)
                return None, None
            else:
                goodlist = res.text.split('</option>')
                gdid, gdname = [], []
                for i in goodlist:
                    id = re.findall(r'\d+', i)  # 将商品编号提取出来
                    gdid.extend(id)
                    name = re.sub('<.*>', '', i)  # 将商品名称提取出来
                    gdname.append(name)
                print(gdid, gdname)
                return gdid, gdname
    
    
    def get_goodinfo(session, url, goodid):
        """
            根据商品id,获取商品所有信息
        """
        try:
            payload = get_good_info_payload % (goodid)  # 构造请求数据
            # print(payload)
            res = session.post(good_ajax, data=payload, headers=headers)
            goodinfo = res.text.encode('utf-8').decode('unicode_escape')
            # print(goodinfo)
            # goodinfo = res.text
            # print(goodinfo)
        except Exception as e:
            print(res.status_code, res.text)
            print(url, e)
        return goodinfo
    
    
    def data_together(url, goodname, sellerinfo, price, stock):
        """"
        这里是将信息整合的部分, 一个商铺页面有很多信息, 尽量获取他们, 获取不到的信息, 就用一个''占位即可
        """
        try:
            datalist = [
                '',  # id, 空着
                today,  # 今天的日期, 格式如20190711,可以使用time库获取
                '',  # 插入数据库的时间, 空着即可,
                goodname,  # 商品标题/商品名
                '',  # 商品详细信息
                '',  # 厂家,
                '',  # 有效期,
                sellerinfo,  # 商铺信息, 比如联系方式,如果搞不到空着即可
                price,  # 价格
                '',  # 价格增长量
                '',  # 批发价
                '',  # 商品分类, 空着
                '',  # 空着
                '998ka.cn',  # 网站域名
                stock,  # 库存量, 没有可以空着
                '',  # 空着即可
                url,  # 商品所属页面的url,
                url,  # 商品详情页面的url, 没有的话设置为所属页面的url
            ]
        except Exception as e:
            print(url, e)
        else:
            datalist = list(map(remove, datalist))  # 通过内置函数map() , 将dataList这个列表中的每一个字符串进行去空格,去换行符等处理
            data = '\t'.join(datalist)  # 用join函数, 以'\t'为分隔符链接dataList这个列表中的每一项,返回一个字符串给data
        return data
    
    
    def get_all_data(url, try_cnt=2):
        """
        获取某个商铺的所有商品的信息,重复次数:2
        """
        all_data = []
        session = requests.session()
        try:
            r = session.get(url=url, headers={
                "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36", })
        except Exception as e:
            print(url, e, "连接主页面失败")
        else:
            if r.status_code != 200:
                if r.status_code == 503:
                    if try_cnt:
                        time.sleep(5)
                        return get_all_data(url, try_cnt-1)
                    else:
                        print(url, "data为0")
                        return all_data
                else:
                    print(url, "data为0")
                    return all_data
    
            res_xpath = etree.HTML(r.text)  # etree.HTML解析html内容
            # 联系方式
            qq = ''
            if re.findall('uin=[0-9]+', r.text):  # 找到所有匹配的字符串，并返回
                qq = re.findall('uin=[0-9]+', r.text)[0].replace('uin=', '')
            # 商家信息
            gonggao = res_xpath.xpath(gonggao_rule)
            # url一共分三种情况
            if 'product' in url:  # 没有分类也没有名称的情况
                seller = res_xpath.xpath('//div[@class="boxcon"]//text()')  # 商家信息
                sellerinfo = {'商家信息': seller, '商家公告': gonggao, 'qq': qq}
                goodname = res_xpath.xpath('//span[@style="font-size:1.2em"]/text()')  # 商品名称
                if len(goodname) == 0:
                    goodname = res_xpath.xpath('//span[@class="t1"]/text()')
                goodid = res_xpath.xpath('//script/input[@name="goodid"]/attribute::value')  # 商品ID
                price = res_xpath.xpath('//label/span[@class="price"]/text()')
                print(sellerinfo, goodname, goodid, price)
                all_data.append(data_together(url, goodname, sellerinfo, price, ''))
    
            else:
                cateidlist = res_xpath.xpath(get_cateid_rule)  # 第一个不可用,商品列表的id
                catenames = res_xpath.xpath(get_catename_rule)
                seller = res_xpath.xpath('//div[@class="boxcon"]/text()')
                if qq != '':
                    if len(cateidlist) == 0:  # 没有分类有商品的情况
                        name_rule = '//span[@class="t1"]/text()'
                        id_rule = '//div/input[@name="cateid"]/attribute::value'
                        cateidlist.extend('0')
                        catenames.extend('嗯')
                        cateid = res_xpath.xpath(id_rule)  # 获取分类id
                        catename = res_xpath.xpath(name_rule)  # 获取分类名称
                        if len(catename) == 0:
                            catename = res_xpath.xpath('//span[@style="font-size:1.2em"]/text()')
                            cateid = res_xpath.xpath('//script/input[@name="cateid"]/attribute::value')
                        cateidlist.extend(cateid)
                        catenames.extend(catename)
                        seller = res_xpath.xpath('//h1/p/text()')
                        # print(cateidlist, catenames, seller)
    
                sellerinfo = {'商家信息': seller, '商家公告': gonggao, 'qq': qq}
                # print(sellerinfo)
    
                print(url, cateidlist, catenames, 'qq:', qq)  # 这是分类那一栏的，以及每一类的id和名称
    
                for cateid, catename in zip(cateidlist[1:], catenames[1:]):
                    goodids, goodnames = get_goodids(session, url, cateid)
                    if goodids:
                        for goodid, goodname in zip(goodids, goodnames):
                            goodinfo = get_goodinfo(session, url, goodid)
                            # 从获取的信息中提取单价
                            price = re.findall('\d+.?\d*', goodinfo)[0]
                            # 从获取的信息中提取库存
                            stock = re.sub('.*value="', '', goodinfo)
                            stock = re.sub('">","is_discount":.*', '', stock)
                            stock = re.findall('\d+', stock)[0]
                            print(price, stock)
                            all_data.append(data_together(url, goodname, sellerinfo, price, stock))
            return all_data
    
    
    def write_data(total_data):
        """
        功能: 将商品信息追加到以当天时间命名的文件上
        """
        with open('./data/' + today + '.txt', 'a', encoding='utf-8') as f:
            for i in total_data:
                f.write(i + '\n')
    
    
    if __name__ == '__main__':
    
        today = time.strftime('%Y%m%d')  # 获取当前时间
        total_data = []
        print(len(get_all_url()))
        num = 0
        # 将每个店铺的信息存在data文件中
        for url in get_all_url():
            time.sleep(3)  # 暂停3秒后执行程序
            try:
                all_data = get_all_data(url)  # 获取店铺里的所有信息
                total_data.extend(all_data)  # 将信息追加进总的信息中
                if len(total_data) > Max:  # 当已经保存的数据条数大于设置设数量时, 追加到文件之后
                    write_data(total_data)
                    num += 1
                    total_data = []
    
            except Exception as e:  # 捕获其他所有的异常信息
                print(url, e)
        # 将total_data里剩下的数据也追加到文件中
        num += len(total_data)
        print(num)
        write_data(total_data)