[时间维度]日志数据提取事件关键词，解析对应时间点计数，matplotlib绘制统计图，python（2）

末蓝、 2024-04-08 10:51 50阅读 0赞

\[时间维度\]日志数据提取事件关键词，解析对应时间点计数，matplotlib绘制统计图，python（2）

[\[时间维度\]日志数据提取事件关键词，解析对应时间点计数，matplotlib绘制统计图，python\_zhangphil的博客-CSDN博客2）因为数据文件中的行数据时海量的，也意味着高价值事件很多，同样，这条事件对应的时间点也很多。需要把事件发生时间划入到不同的时间段（时间区间），比如（11，12）代表11点到12点，（1，2）代表凌晨1点到2点。（1）数据文件中，对每一行数据模糊查找是否包含了所要寻找的关键词，如果该行以一定的概率（>80%可能性）存在目标关键词，那么该行即为认定为目标高价值数据事件行，然后再从该行中提取事件时间点。比如（9，10），计数5，表示发生再9点到10点（不包含10点）的事件为5件。...............![favicon32.ico][]https://blog.csdn.net/zhangphil/article/details/125923359][matplotlib_python_zhangphil_-CSDN_2_11_12_11_12_1_2_1_2_1_80_9_10_5_9_10_10_5_..............._favicon32.ico_https_blog.csdn.net_zhangphil_article_details_125923359]

对上篇的技术实现加以改进：

（1）日期匹配把原先的中文字符年月日时替换掉，用标准的parse匹配。

（2）不再自己实现统计，而是用python的counter统计事件次数。

（3）关键词搜索支持一次性多个匹配查找。

import re
    
    import matplotlib
    import matplotlib.pyplot as plt
    
    import dateutil.parser as ps
    
    from collections import Counter
    
    from pprint import pp
    
    import pandas as pd
    from fuzzywuzzy import fuzz
    
    FILE_PATH = r'数据文件路径'
    KEYS = [r'关键词1', r'关键词2', r'关键词3']
    threshold = 90
    
    
    def change_str(date_s):
        date_s = date_s.replace(r'年', '-')
        date_s = date_s.replace(r'月', '-')
        date_s = date_s.replace(r'日', ' ')
    
        date_s = date_s.replace(r'时', ':')
        date_s = date_s.replace(r'分', '')
    
        return date_s
    
    
    def read_file():
        file = open(FILE_PATH, 'r', encoding='UTF-8')
    
        all_case_time = []
    
        case_count = 0
        cnt = 0
    
        for line in file:
            cnt = cnt + 1
            for k in KEYS:
                pr = fuzz.partial_ratio(line, k)
                if pr >= threshold:
                    print('-----')
                    print(f'第{case_count}件')
                    case_count = case_count + 1
    
                    try:
                        # 正则匹配 xxxx年xx月xx日xx时xx分
                        mat = re.search(r'\d{4}\年\d{1,2}\月\d{1,2}\日\d{1,2}\时\d{1,2}\分', line)
                        t_str = mat.group().replace('\n', '')  # 去掉正则匹配到但是多余的 \n 换行符
    
                        try:
                            t_str = change_str(t_str)
                            all_case_time.append(ps.parse(t_str))  # 日期提取出来，放到数组中
                        except:
                            print('解析日期失败')
                    except:
                        t_str = '-解析异常-'
    
                    s = '第{number}行,相似度{ratio},时间:{case_time} - {content}'
                    ss = s.format(number=cnt, ratio=pr, case_time=t_str, content=line)
                    pp(ss)
    
                    break
    
            # 快速调试
            #if case_count > 10:
            #    break
    
        file.close()
    
        return all_case_time
    
    
    def date_to_points():
        date_times = read_file()
    
        hours = []
        for i in range(24):
            hours.append((i, i + 1))
    
        points = []
        for dt in date_times:
            for h in hours:
                if h[0] <= dt.hour < h[1]:
                    points.append(h)
                    break
    
        to_chart(points)
    
    
    def draw_chart(df):
        myfont = matplotlib.font_manager.FontProperties(fname='C:\Windows\Fonts\msyh.ttc')
        plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
        plt.rc('font', family='YaHei', weight='bold')
    
        order = []
        name = []
        mem = []
        for d, i in zip(df.values, df.index):
            order.append(i)
            name.append(d[0])
            mem.append(int(d[1]))
    
        FONT_SIZE = 12
    
        fig, ax = plt.subplots(figsize=(15, 13))
    
        b = ax.barh(y=range(len(name)), width=mem, align='center', color='red')
    
        # 为横向水平的柱图右侧添加数据标签。
        i = 0
        for rect in b:
            w = rect.get_width()
            ax.text(x=w, y=rect.get_y() + rect.get_height() / 2, s='%d' % (int(w)),
                    horizontalalignment='left', verticalalignment='center',
                    fontproperties=myfont, fontsize=FONT_SIZE - 2, color='green')
            ax.text(x=w / 2, y=rect.get_y() + rect.get_height() / 2, s=str(order[i]),
                    horizontalalignment='center', verticalalignment='center',
                    fontproperties=myfont, fontsize=FONT_SIZE - 3, color='white')
            i = i + 1
    
        ax.set_yticks(range(len(name)))
        ax.set_yticklabels(name, fontsize=FONT_SIZE - 1, fontproperties=myfont)
    
        ax.invert_yaxis()
    
        ax.set_xlabel('数据样本', fontsize=FONT_SIZE + 2, fontproperties=myfont)
        ax.set_title('不同时间段的数据点总量排名', fontsize=FONT_SIZE + 5, fontproperties=myfont)
    
        # 不要横坐标上的label标签。
        plt.xticks(())
    
        # 清除四周的边框线
        ax.get_yaxis().set_visible(True)
        for spine in ["left", "top", "right", "bottom"]:
            ax.spines[spine].set_visible(False)
    
        plt.subplots_adjust(left=0.15)  # 调整左侧边距
    
        # ax.margins(y=0.01) #缩放 zoom in
    
        ax.set_aspect('auto')
    
        plt.show()
    
    
    def to_chart(points):
        # 找出出现次数最多的点数
        c_xy = Counter(points)
        # 再选取前n多的点数
        max_count = c_xy.most_common(24)
        print('max_count', max_count)
    
        # 数据组装成pandas数据帧。
        pd_data = []
        total = 0
        for mc in max_count:
            total = total + mc[1]
            pd_data.append([mc[0], mc[1]])
    
        print('总计', total)
        col = ['时间段', '时间点次数']
        df = pd.DataFrame(data=pd_data, columns=col)
        df = df.sort_values(by=col[1], axis=0, ascending=False)  # 降序
    
        # 重置索引
        df = df.reset_index(drop=True)
        df.index = df.index + 1
    
        # 前20
        pp(df.head(20))
        # pp(df.values)
    
        draw_chart(df)
    
    
    if __name__ == '__main__':
        date_to_points()

输出：

total 1376

...

![7c750e7610e94bcb8307dc58b047626d.png][]

[favicon32.ico]: https://g.csdnimg.cn/static/logo/favicon32.ico
[matplotlib_python_zhangphil_-CSDN_2_11_12_11_12_1_2_1_2_1_80_9_10_5_9_10_10_5_..............._favicon32.ico_https_blog.csdn.net_zhangphil_article_details_125923359]: https://blog.csdn.net/zhangphil/article/details/125923359
[7c750e7610e94bcb8307dc58b047626d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/2c7254b1b83a4b6d81f2d605a4e8ad2f.png