爬虫入门-京东评论爬取和简单分析[学习笔记]

╰+攻爆jí腚メ 2023-02-12 08:23 149阅读 0赞

随便点击一个商品，我点的是“https://item.jd.com/3533885.html”  
查看评论是否动态数据：点击改变评论页数（图中1处），网址（图中2处）不会变，说明是动态数据  
![在这里插入图片描述][2020052514211621.png]

F12(或者右击检查网页源代码)->点击“Network”->F5（或ctrl+R）  
点击网页“商品评价”  
![在这里插入图片描述][20200525142434296.png]  
找到途中1，点击，复制2url：“https://club.jd.com/comment/productPageComments.action?callback=fetchJSON\_comment98&productId=3533885&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1”  
打开查看是否评论区的json数据：  
![在这里插入图片描述][20200525142542517.png]  
把整个网页复制到“http://json.cn/”，删除前面的“fetchJSON\_comment98(”和后面的“);”  
就能更清晰的看出数据：  
![在这里插入图片描述][20200525142530919.png]

**1.获取评论区的json数据**

import  requests
    url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=3533885&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
    resp=requests.get(url)
    print(resp.text)

**2.获取商品评论的最大页数（根据商品编号）**

import  requests
    import json
    def get_comments(productId,page):
        url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId={0}&score=0&sortType=5&page={1}&pageSize=10&isShadowSku=0&fold=1'.format(
            productId, page)
        resp=requests.get(url)
        #print(resp.text)
        s = resp.text.replace('fetchJSON_comment98(', '')
        s = s.replace(');', '')
        #将str类型的数据转成json格式的数据
        json_data=json.loads(s)
        return json_data
    #获取最大页数
    def get_max_page(productId):
        dic_data=get_comments(productId,0)  #调用get_comments函数，向服务器发送请求，获取字典数据
        return dic_data['maxPage']
    
    if __name__ == '__main__':
        productId="3533885"
        print(get_max_page(productId))

100

**3.根据json数据确定自己要获取的数据**

![在这里插入图片描述][20200525142741189.png]

import  requests
    import json
    import  time
    import  openpyxl  #用于操作Excel文件的
    def get_comments(productId,page):
        url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId={0}&score=0&sortType=5&page={1}&pageSize=10&isShadowSku=0&fold=1'.format(
            productId, page)
        resp=requests.get(url)
        #print(resp.text)
        s = resp.text.replace('fetchJSON_comment98(', '')
        s = s.replace(');', '')
        #将str类型的数据转成json格式的数据
        json_data=json.loads(s)
        return json_data
    #提取数据
    def get_info(productId):
        #调用函数获取商品的最大评论页数
        #max_page=get_max_page(productId)
        max_page=20
        lst=[]  #用于存储提取到的商品数据
        for page in range(1,max_page+1):   #循环执行次数
            #获取每页的商品评论
            comments=get_comments(productId,page)
            comm_lst=comments['comments']   #根据key获取value，根据comments获取到评论的列表（每页有10条评论）
            #遍历评论列表，分别获取每条评论的中的内容，颜色，商品的类型
            for item in comm_lst:   #每条评论又分别是一个字典，再继续根据key获取值
                content=item['content']  #获取评论中的内容
                color=item['productColor'] #获取评论购买商品的口味
                lst.append([content,color])  #将每条评论的信息添加到列表中
            time.sleep(3)  #延迟时间，防止程序执行速度太快，被封IP
        save(lst)  #调用自己编写的函数，将列表中的数据进行存储
    
    #用于将爬取到的数据存储到Excel中
    def save(lst):
        wk=openpyxl.Workbook () #创建工作薄对象
        noodles=wk.active  #获取活动表
        #遍历列表，将列表中的数据添加到工作表中,列表中的一条数据，在Excel中是 一行
        for item in lst:
            sheet.append(item)
        #保存到磁盘上
        wk.save('销售数据.xlsx')
    
    if __name__ == '__main__':
        productId='3533885'
        #print(get_max_page(productId))
        get_info(productId)

![在这里插入图片描述][20200525142811251.png]

**4.简单分析**

（1）查看表格几行几列

200 2

（2）统计口味数据（简单对excel表格进行处理）

import  openpyxl
    #从Excel中读取数据
    wk=openpyxl.load_workbook('销售数据.xlsx')
    noodles=wk.active  #获取活动sheet表
    #获取最大行数和最大列数
    rows=noodles.max_row     #200行
    cols=noodles.max_column   #2列
    
    lst=[] #用于存储方便面口味
    for i in range(1,rows+1):
        color=noodles.cell(i,2).value
        lst.append(color)
    
    '''for item in lst:
        print(item)
        '''
    '''从Excel中将方便面口味数据读取完毕，添加到列表中，以下操作，开始数据统计，统计不同口味的方便面销售'''
    '''Python中有一种数据结构叫字典,使用口味作key，使用销售数量作value'''
    dic_color={}
    for item in lst:
        dic_color[item]=0
    
    for item in lst:
        for color in dic_color:  #遍历字典
            if item==color:
                dic_color[color]+=1
                break
    '''for item in dic_color:
        print(item,dic_color[item])'''
    lst_total=[]
    for item in dic_color:
        lst_total.append([item,dic_color[item],dic_color[item]/200*1.0])
    
    for item in lst_total:
        print(item)

\[‘大食袋酸菜牛肉面’, 23, 0.115\]  
\[‘大食袋鲜虾鱼板面’, 34, 0.17\]  
\[‘大食袋红烧牛肉面’, 110, 0.55\]  
\[‘大食袋香辣牛肉面’, 31, 0.155\]  
\[None, 2, 0.01\]

（3）生成饼图

import  openpyxl
    import matplotlib.pyplot as pit
    #从Excel中读取数据
    wk=openpyxl.load_workbook('销售数据.xlsx')
    noodles=wk.active  #获取活动sheet表
    #获取最大行数和最大列数
    rows=noodles.max_row     #200行
    cols=noodles.max_column   #2列
    
    lst=[] #用于存储方便面口味
    for i in range(1,rows+1):
        color=noodles.cell(i,2).value
        lst.append(color)
    
    '''for item in lst:
        print(item)
        '''
    '''从Excel中将方便面口味数据读取完毕，添加到列表中，以下操作，开始数据统计，统计不同口味的方便面销售'''
    '''Python中有一种数据结构叫字典,使用口味作key，使用销售数量作value'''
    dic_color={}
    for item in lst:
        dic_color[item]=0
    
    for item in lst:
        for color in dic_color:  #遍历字典
            if item==color:
                dic_color[color]+=1
                break
    '''for item in dic_color:
        print(item,dic_color[item])'''
    lst_total=[]
    for item in dic_color:
        lst_total.append([item,dic_color[item],dic_color[item]/200*1.0])
    
    '''for item in lst_total:
        print(item)
        '''
    '''数据统计完毕，开始进行数据可视化'''
    
    labels=[item[0] for item in lst_total]  #使用列表生成式，得到饼图的标签
    fraces=[item[2] for item in lst_total]  #饼图中的数据源
    pit.rcParams['font.family']=['SimHei']
    pit.pie(x=fraces,labels=labels,autopct='%1.1f%%')
    #pit.show()
    pit.savefig('饼图.jpg')

![在这里插入图片描述][20200525142942126.png]

[2020052514211621.png]: https://img-blog.csdnimg.cn/2020052514211621.png
[20200525142434296.png]: https://img-blog.csdnimg.cn/20200525142434296.png
[20200525142542517.png]: https://img-blog.csdnimg.cn/20200525142542517.png
[20200525142530919.png]: https://img-blog.csdnimg.cn/20200525142530919.png
[20200525142741189.png]: https://img-blog.csdnimg.cn/20200525142741189.png
[20200525142811251.png]: https://img-blog.csdnimg.cn/20200525142811251.png
[20200525142942126.png]: https://img-blog.csdnimg.cn/20200525142942126.png