分布式系统日志集中到一台服务器,将分布式中多台节点的日志信息集中到一个节点上...

本是古典何须时尚 2022-09-03 11:26 18阅读 0赞

转载：http://my.oschina.net/duxuefeng/blog/317570

1,准备

master：10.1.5.241

slave01：10.1.5.242

在服务器端和客户端分别安装rsyslog

\[root@master ~\]\# yum -y rsyslog

\[root@master ~\]\# rsyslogd -version

rsyslogd 5.8.10, compiled with:

FEATURE\_REGEXP:                Yes

FEATURE\_LARGEFILE:            No

GSSAPI Kerberos 5 support:        Yes

FEATURE\_DEBUG (debug build, slow code):    No

32bit Atomic operations supported:    Yes

64bit Atomic operations supported:    Yes

Runtime Instrumentation (slow code):    No

See http://www.rsyslog.com for more information.

2,配置

配置文件如下：

\[root@master ~\]\# egrep -v ‘^\#|^$‘ /etc/rsyslog.conf

$ModLoad imuxsock \# provides support for local system logging (e.g. via logger command)

$ModLoad imklog   \# provides kernel logging support (previously done by rklogd)

$ModLoad immark  \# provides --MARK-- message capability

$ModLoad imudp                            打开ucp连接，通过ucp传日志

$UDPServerRun 514

$ModLoad imtcp                                        打开tcp连接，通过tcp传日志

$InputTCPServerRun 10514

$ActionFileDefaultTemplate RSYSLOG\_TraditionalFileFormat

$IncludeConfig /etc/rsyslog.d/\*.conf

\*.info;mail.none;authpriv.none;cron.none                /var/log/messages

authpriv.\*                                              /var/log/secure

mail.\*                                                  -/var/log/maillog

cron.\*                                                  /var/log/cron

\*.emerg                                                 \*

uucp,news.crit                                          /var/log/spooler

local7.\*                                                /var/log/boot.log

例子1，

简单配置：将所有系统log都放入服务器端下的/var/log/all.log下。

配置：

服务器:

/etc/rsyslog.conf文件最后添加

\*.\*                                    /var/log/all.log

\[root@master ~\]\# /etc/init.d/rsyslog restart

客户端：

/etc/rsyslog.conf文件最后添加

\*.\*                                    @@10.1.5.241:10514    通过tcp传

\[\[email protected\] ~\]\# /etc/init.d/rsyslog restart

测试：

tail -f /var/log/all.log

例子2，

自定义测试，

配置：

服务器：

/etc/rsyslog.conf文件最后添加

:fromhost,isequal, “slave01″ /var/log/all.log            \#过滤来自lave01的日志，放入/var/log/all.log

:fromhost,isequal, “slave01″ ~

\[\[email protected\] ~\]\# /etc/init.d/rsyslog restart

客户端：

\*.\*                    @10.1.5.241:514                     \#通过udp传

\[\[email protected\] ~\]\# /etc/init.d/rsyslog restart

测试：

\[\[email protected\] ~\]\# logger "hello world"

\[\[email protected\] ~\]\# tail -f /var/log/all.log

例子3，

自定义测试，

配置：

服务器：

/etc/rsyslog.conf文件最后添加

local5.\*        /var/log/all.log            \#过滤local5级别的日志，放入/var/log/all.log

local5.\*        ~

\[\[email protected\] ~\]\# /etc/init.d/rsyslog restart

客户端：

local5.\*                    @10.1.5.241:514                     \#通过udp传

\[\[email protected\] ~\]\# /etc/init.d/rsyslog restart

测试：

\[\[email protected\] ~\]\# logger -p local5.info  "hello world"          \# 这里必须指定local5级别

\[\[email protected\] ~\]\# tail -f /var/log/all.log

例子4，

自定义测试，

配置：

服务器：

/etc/rsyslog.conf文件最后添加

$template logfile,    "/var/log/logfile\_%$year%%$month%%$day%.log"

:msg,contains,        "muyushan"            ?logfile

\[\[email protected\] ~\]\# /etc/init.d/rsyslog restart

客户端：

:msg,contains,        "muyushan"                @@10.1.5.241:10514                     \#通过tdp传

\[\[email protected\] ~\]\# /etc/init.d/rsyslog restart

测试：

\[\[email protected\] ~\]\# logger -t muyushan  "hello world"          \# 在日志正文每行记录加上“muyushan”标签

\[\[email protected\] ~\]\# tail -f /var/log/all.log

例子5，

apache日志管理

配置：

服务器：

mkdir /data/apache/logs

chown apache:apache /data/apache/logs

/etc/rsyslog.conf文件最后添加

$template access\_log, "%msg:2:$%\\n"

$template error\_log, "%msg%\\n"

\# web1-access-log

$template access\_log\_file\_web1, "/data/apache/logs/%$NOW%/access-log/web1-access\_log"

\# web1-error-log

$template error\_log\_file\_web1, "/data/apache/logs/%$NOW%/error-log/web1-error\_log"

\# web1-access-log

if $syslogfacility-text == ‘local6‘ and $syslogtag == ‘http-access:‘ and $fromhost-ip == ‘10.1.5.241‘ then -?access\_log\_file\_web1;access\_log

\# web1-error-log

if $syslogfacility-text == ‘local6‘ and $syslogtag == ‘http-error:‘ and $fromhost-ip == ‘10.1.5.241‘ then -?error\_log\_file\_web1;error\_log

\[\[email protected\] ~\]\# /etc/init.d/rsyslog restart

客户端：

vim /etc/http/conf/httpd.conf

找到以下选项并将此选项标注\#

CustomLog logs/access\_log combined

ErrorLog logs/error\_log

分别在此2个选项下添加如下内容

CustomLog "|/usr/bin/logger -p local6.info -t http-access" combined

ErrorLog "| /usr/bin/logger -p local6.info -t http-error"

/etc/rsyslog.conf文件最后添加

local5.\*        /var/log/all.log            \#过滤local5级别的日志，放入/var/log/all.log

local5.\*        ~

\[\[email protected\] ~\]\# /etc/init.d/rsyslog restart

测试：

\[\[email protected\] ~\]\# tail -f /data/apache/logs/%$NOW%/access-log/web1-access\_log

\[\[email protected\] ~\]\# tail -f /data/apache/logs/%$NOW%/error-log/web1-error\_log

附录：

日志设备(可以理解为日志类型)

日志设备/类型

说明

auth

–pam产生的日志

authpriv

–ssh,ftp等登录信息的验证信息

cron

–时间任务相关

kern

–内核

lpr

–打印

mail

–邮件

mark(syslog)

–rsyslog服务内部的信息,时间标识

news

–新闻组

user

–用户程序产生的相关信息

uucp

–unix to unix copy, unix主机之间相关的通讯

local 1~7

–自定义的日志设备

日志级别

从上到下，级别从低到高，记录的信息越来越少 详细的可以查看手册: man 3 syslog

级别

说明

级别值

debug

–有调式信息的，日志信息最多

info

–一般信息的日志，最常用

notice

–最具有重要性的普通条件的信息

warning

–警告级别

err

–错误级别，阻止某个功能或者模块不能正常工作的信息

crit

–严重级别，阻止整个系统或者整个软件不能正常工作的信息

alert

–需要立刻修改的信息

emerg

–内核崩溃等严重信息

none

–什么都不记录

连接符号

说明

.xxx

表示大于等于xxx级别的信息

.=xxx

表示等于xxx级别的信息

.!xxx

表示在xxx之外的等级的信息

示例：

:msg,contains,"error"        \# 选择包含 error 的日志

:hostname,isequal, "host1"   \# 选择主机名为 host1 的日志

:msg,!regex,"fatal .\* error" \# 选择不匹配指定正则表达式的日志

logger的使用

logger 是一个shell 命令接口，可以通过该接口使用Syslog的系统日志模块，还可以从命令行直接向系统日志文件写入一行信息。

logger -it error  -p local5.info "hello world"

\-i 在每行都记录进程ID

\-t 日志中的每一行都加一个error标签

\-p 指定自定义的日志设备，和配置文件的local5.\*对应，配置文件里没有.info。

说明，如果是自己写的程序，在生成日志的代码中需要用logger命令转到系统的日志接口。

原文：http://www.cnblogs.com/wzyxidian/p/4895204.html

分布式系统日志集中到一台服务器,将分布式中多台节点的日志信息集中到一个节点上...

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关集中式vs分布式

相关 yarn配置日志聚合：将日志都聚集到某一台服务器

相关 mysql迁移到另一台服务器上_mysql数据库从一台服务器迁移到另一台服务器上

相关分布式系统日志集中到一台服务器,将分布式中多台节点的日志信息集中到一个节点上...

相关集中式日志系统 ELK

相关集中式日志系统 ELK

相关集中日志服务器Rsyslog

相关分布式日志分析平台 ELK 的原理

相关 linux 将一个服务器上的文件或者文件夹复制到另一台服务器上

相关把多台（电脑）服务器数据定时备份到1台服务器上