使用pandas进行SEO日志分析

深藏阁楼爱情的钟 2022-06-10 06:40 141阅读 0赞

http://www.jianshu.com/p/84d4f9c6e83f

虽然网络上有比较多的SEO日志分析工具，比如爱站，光年，但那都是固定维度的，不如自己写的灵活，想怎么拆分就怎么拆分，加上最近在学习[《利用python进行数据分析》][python]这本书，正好可以用来练习练习，顺便熟悉一下pandas库。不得不说，pandas这个库真的强大的不要不要的，对数据的加载、存储、清理、转换、合并样样兼顾，虽然目前只看到第9章，但是感觉对数据的处理能力有了很大的进步！  
对于SEO日志分析，比较常用拆分维度是：

*  统计总抓取量
 *  统计不重复抓取量
 *  统计状态码数量
 *  统计目录的抓取量
 *  Top N抓取量

此外，我参考了光年日志分析工具，也加入了停留时间和访问时间，尽量把维度拆分的细一点多一点（练手嘛），但是，如果按我想的那样，拆分的很细的话，那肯定要写很多行代码（事实上，没用pandas写之前，就用了400多行代码实现过一个demo），所以取巧了一下，拆分成需要的数据之后，用 `pivot_table` 的方法建立透视表。  
日志的格式如下：  
`220.181.108.81 - - [05/Mar/2016:20:41:23 +0800] "GET /images/im_qq.gif.pagespeed.ce.8GQAmIPgsj.gif HTTP/1.1" 200 4581 "http://\w+.\w+.com/\d+.html" "Mozilla/5.0 (Windows NT 6.2; Trident/7.0; MANM; ED; rv:11.0) like Gecko"`  
日志分析脚本demo如下：

# -*- coding: utf-8 -*-
    '''爬虫日志分析demo1.0'''
    
    from time import strptime,mktime,time
    from pandas import Series,DataFrame
    import pandas as pd
    import sys,socket
    reload(sys) 
    sys.setdefaultencoding('utf-8')
    start = time()
    format = "%d/%b/%Y:%H:%M:%S"  #写出日志的日期格式
    
    def file_open(file):
        col_names=['ip','datetime','resource','status','bytes','refer','ua','path','level1','data']
        reader = pd.read_csv(file,sep='\s+',header=None,chunksize=1000000,names=range(10))
        data = DataFrame(columns=col_names)
        for piece in reader:
            data[['ip','status','bytes','refer','ua']] = piece[[0,6,7,8,9]]
            data['refer'] = data['refer'].fillna('abc')
            data['datetime'] = piece[3].str.replace('[','')
            data['resource'] = piece[5].str.split(' ').str[1]
            data['data'] = piece[3].str.match('\[(\S+):\d+:\d+:\d+').str[0]
            data['path'] = piece[5].str.match('\w+\ ((?:/[A-Za-z0-9-_/\.]*/)|(?:/)\W)').str[0].str.strip()
            data['level1'] = piece[5].str.match('\w+\ ((?:/[\w\d_-]*/)|(?:/) )').str[0].str.strip()
        return data
    
    '''判断爬虫真假'''
    def check_spider(df):
        start = time()
        ip = list(df['ip'].unique())
        print u'正在检查spider真伪，共%s个待查询iP，耗时较长，请稍等' % len(ip)
        true_spider = []
        fake_spider = []
    
        for x,y in enumerate(ip):
            try:
                result = socket.gethostbyaddr(y)[2][0]
                true_spider.append(result)
                print 'NO.%s %s is spider and now appending in true spider list' % (x,y)
            except socket.herror, e:
                print 'NO.%s %s is facke spider' % (x,y)
                fake_spider.append(y)
    
        log = df[df['ip'].isin(true_spider)]
        print u'执行完成,共耗时%s秒' % (time()-start)
        print 'True Spider IP %s,False Spider IP %s' % (len(true_spider),len(fake_spider))
        return log
    
    '''提取某个爬虫访问记录'''
    def get_spider_log(df,spider):
        spiders = df['ua'].str.contains(spider)
        spider_log = df[spiders]
        spider_log['datetime'] = spider_log['datetime'].apply(lambda x:int(mktime(strptime(x,format))))
        return spider_log
    
    '''统计停留时间和访问次数'''
    def get_x(x):
        a = []
        a.append(x)
        return a
    
    def get_list(list_name):
        '''后一个减去前一个，计算时间差'''
        t_list = list(list_name) #传入的是一个Serice对象，所以要转化成list
        t_list.sort()
        values = []
        weight = len(t_list)
    
        for value in xrange(weight):
            if weight == 1:  #只有一个时间的情况，停留时间算成1秒
                values.append(1)
            elif value > 0:  #前面是升序，所以要 >0 才能用后一个减去前一个
                values.append((t_list[value]-t_list[value-1]))
    
        ''' size 是大于1799的个数，因为间隔1800秒以上访问次数+1，大于1799是包含了1800'''
        size = len(filter(lambda x:x >1799,values))
    
        '''如果有一个大于1800秒，表示共访问了2次,有 N 个，表示访问了 N+1 次'''
        visits = size + 1  
    
        '''过滤大于1800的值,因为过滤前可能是[1811,2],有两个停留时间，过滤后变成[2]只剩一个时间，因此加上size修正'''
        _values = filter(lambda x:x <1800,values)  #访问时间差的列表
        '''存在过滤后为空列表的情况，但只要访问过，就有停留时间'''
        if _values == []:
            _values.append(1)
    
        stay_time = reduce(lambda x,y:x+y,_values) + size
    
        result = [visits,stay_time]
    
        return result
    
    if __name__ == '__main__':
    
        script,file,output = sys.argv
    
        log = file_open(file)
    
        spider_log = get_spider_log(log,'Baiduspider')  #默认百度爬虫
    
        spider_log = check_spider(spider_log)  #检查爬虫真伪    
    
        drop_dup = spider_log.drop_duplicates(['data','resource']) #去除'resource'列中的重复项，算不重复抓取量用
    
        '''不重复抓取量'''
        No_rep = drop_dup.pivot_table(values=['resource'],index=['data','level1','path'],aggfunc='count')      
        No_rep.columns = ['No_rep']
    
        '''次级目录总抓取数,数数的时候会按层次化索引来数，所以数'ua'列也可以'''
        All_crawl = spider_log.pivot_table(values=['ua'],index=['data','level1','path'],aggfunc='count') 
        All_crawl.columns = ['All_crawl']
    
        '''次级目录总字节数'''
        All_bytes = spider_log.pivot_table(values=['bytes'],index=['data','level1','path'],aggfunc='sum') 
        All_bytes.columns=['All_bytes']
    
        '''平均抓取字节（总抓取字节/抓取量）'''
        Avg_bytes = pd.Series(All_bytes['All_bytes']/All_crawl['All_crawl'],index=All_crawl.index,name='avg_bytes')
    
        '''次级状态码数量'''
        All_status = spider_log.pivot_table('resource',index=['data','level1','path'],columns=['status'],fill_value=0,aggfunc='count')  
    
         '''算出停留时间和访问次数'''
        t = spider_log['datetime'].groupby([spider_log['data'],spider_log['ip'],spider_log['level1'],spider_log['path']]).apply(lambda x:get_x(x))
    
        t = t.apply(lambda x:get_list(x[0])).reset_index()
    
        t['visits'] = t[0].str.get(0)
    
        t['saty_time'] = t[0].str.get(1)
    
        '''停留时间和访问次数'''
        visits_stay = t.pivot_table(index=['data','level1','path'],aggfunc='sum') 
    
        ''' 平均停留时间（总停留时间/总抓取量）''
        Avg_saty = pd.Series(visits_stay['saty_time']/All_crawl['All_crawl'],index=All_crawl.index,name='Avg_saty')
    
        '''次级目录IP访问数量'''
        Ip_count = t.pivot_table('ip',index=['data','level1','path'],aggfunc='count')
    
        '''精确到次级目录'''
        last = No_rep.join([Ip_count,All_crawl,All_bytes,Avg_bytes,Avg_saty,visits_stay,All_status]).reset_index()
    
        '''精确到一级目录'''
        no_path = last.pivot_table(index=['data','level1'],aggfunc='sum')
        no_path['avg_bytes'] = pd.Series(no_path['All_bytes']/no_path['All_crawl'],index=no_path.index)
        no_path['Avg_saty'] = pd.Series(no_path['saty_time']/no_path['All_crawl'],index=no_path.index)
    
    #    last.to_csv('ulast.csv',index=False)
        no_path.to_csv(output)     #默认输出
    
        over = time()
    
        print '***Analysis OK!Take %s seconds***' % (over-start)

导出的结果如下：

![1240][]

SEO日志分析结果

这里说一下页面停留时间计算原理，因为日志的记录里只记录了进入页面的时间，并没有记录停留时间，所以只能间接地算出来。比如：A IP 访问了1和2两个页面，那么1页面的停留时间=2页面的进入时间-1页面的进入时间。由于A IP 没有访问第3个页面，所以算不到第2个页面的停留时间，我这里人为的当成停留了1秒。

总停留时间的计算思路是按 IP 和目录分组，得到每个目录的时间列表，然后列表里的后一个数减去前一个数得出时间差，过滤时间差>1799的数，然后累加，算出每个目录的总停留时间。而访问数量就是>1799的数量+1。

另外，脚本算出来的总停留时间和光年日志分析工具的会不一样，不过那并不碍事，本来总停留时间就是一个参考，同一个标准算出来的数据对最后的结论影响不大。

最后，如果是用 *shell* 进行SEO日志分析的话，可与阅读这篇文章：  
[使用shell分析日志][shell]——老狼

作者：担得一身好酱油  
链接：http://www.jianshu.com/p/84d4f9c6e83f  
來源：简书  
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

[python]: https://book.douban.com/subject/25779298/
[1240]: /images/20220610/f4a58b31c880487eb5b8ed3f3de2608a.png
[shell]: http://www.itseo.net/direction/show-145.html