Python 定时提取实时日志的程序

小灰灰 2022-05-22 06:52 100阅读 0赞

这是一个定时读取 实时日志文件的程序 。 目标文件是target\_file. 它是应用程序实时写入的。

我要做的是，每个5秒钟，提取一次该日志文件中的内容，然后生成另一个文件。最后把这些文件都汇总

#!/usr/local/bin/python
    # coding:utf-8
    
    import fileinput
    import time
    import os
    
    target_file = 'user.log'
    init_flag = True  # 初次加载程序
    time_kick = 5
    
    record_count = 0
    
    while True:
        print '当前读到了', record_count
        #没有日志文件，等待
        if not os.path.exists(target_file):
            print 'target_file not exist'
            time.sleep(time_kick)
            continue
    
        try:
            ip  = '10.10.1.100'
            easytime = time.strftime('%Y%m%d_%H%M%S', time.localtime())
            file_name = '%s_user_%s.log' % (ip,easytime)
            f_w = open(file_name, 'w')
            if init_flag:
                #读取整个文件
                for eachline in fileinput.input(target_file):
                    print eachline
                    f_w.write(eachline)
                    record_count += 1
    
                init_flag = False
            else:
                #如果总行数小于当前行，那么认为文件更新了，从第一行开始读。
                total_count = os.popen('wc -l %s' % target_file).read().split()[0]
                total_count = int(total_count)
                if total_count < record_count:
                    record_count = 0
    
                for eachline in fileinput.input(target_file):
                    line_no = fileinput.filelineno()
                    if line_no > record_count:
                        print eachline
                        f_w.write(eachline)
                        record_count += 1
    
            f_w.close()
        except:
            pass
        time.sleep(time_kick)