16_03_2_Linux日志文件系统rsyslog以及logrotate

2015-03-19

补充:rsyslog为了在使用上能够和syslog保持一致，很多地方可直接参考syslog。。

目前RHEL6+已經使用的是rsyslog，是syslogd的多线程增强版。
rsyslog负责写入日志，logrotate负责备份和删除旧日志，以及更新日志文件/日志分割等。。

測試環境:centos 6.5

#rsyslogd -v 
rsyslogd 5.8.10, compiled with: 
 FEATURE_REGEXP: Yes 
 FEATURE_LARGEFILE: No 
 GSSAPI Kerberos 5 support: Yes 
 FEATURE_DEBUG (debug build, slow code): No 
 32bit Atomic operations supported: Yes 
 64bit Atomic operations supported: Yes 
 Runtime Instrumentation (slow code): No 
 
See http://www.rsyslog.com for more information.

rsyslog:

1 2	#service rsyslog status 默认是开启的

配置文件:

/etc/sysconfig/rsyslog
/etc/rsyslog.conf

/etc/sysconfig/rsyslog

rsyslog处理大量日志接收时，总是会延迟，说有dns解析的问题。然后man了下rsyslogd，发现有-Q -x参数可以屏蔽dns解析。改下启动脚本
SYSLOGD_OPTIONS=”-c 5 -Q -x”
-Q do not resolve hostnames during ACL processing(需要说明，这个可以直接参考syslog，不过在这有个好奇，就是在syslog文章中指出为了不进行解析，使用-x选项，man rsyslogd 得到-Q解释，不知其意义何在，如有幸得告知，请留言说明，谢谢。)

/etc/rsyslog.conf

Provides UDP syslog reception
允许514端口接收使用UDP协议转发过来的日志
$ModLoad imudp.so
$UDPServerRun 514

Provides TCP syslog reception
允许514端口接收使用TCP协议转发过来的日志
$ModLoad imtcp.so
$InputTCPServerRun 514

@@表示通过tcp协议发送 @表示通过udp进行转发

实例: remote log 远程发送与接收

只要在rsyslog.conf中加入

*.* @192.168.0.10 
*.* @192.168.0.10:10514     # 带端口号(如果修改了端口) 
*.* @@192.168.0.10          # TCP

參考一:关于rsyslog队列介绍及配置
http://blog.chinaunix.net/uid-773723-id-3900229.html
参考二:rsyslog日志服务安装与写入到MySQL数据库
http://www.linuxidc.com/Linux/2014-06/103364.htm

logrotate:
/etc/logrotate.conf
logrotate服务
rotate 轮换,日志切换
logrotate是一个日志管理程序，用来把旧的日志文件删除（备份），并创建新的日志文件，这个过程称为”转储”。我们可以根据日志的大小，或者根据其使用的天数来转储。
logrotate启动方式
logrotate 的执行由crond服务实现。在/etc/cron.daily目录中，有个文件logrotate，它实际上是个shell script，用来启动logrotate。logrotate程序每天由cron在指定的时间（/etc/crontab）启动。
因此，使用ps是无法查看到logrotate的。如果它没有起来，就要查看一下crond服务有没有在运行。
在执行logrotate时，需要指定其配置文件/etc/logrotate.conf
这个配置文件的注释写得很清楚，没有必要再罗嗦了。只想强调下面这行，它的作用包含存放在/etc/logrotate.d目录下面的配置文件，不可或缺。如果你安装了一个新的服务，它的日志转储的规则可以建立一个专门的配置文件，放在/etc/logrotate.d下面。它其实也因为下面的这句话，在 logrotate服务启动时被读取。
每个存放在/etc/logrotate.d目录里的文件，都有上面格式的配置信息。在{}中定义的规则，如果与logrotate.conf中的冲突，以/etc/logrotatate.d/中的文件定义的为准。
logrotate启动脚本放在 /etc/cron.daily/logrotate 中，可人工执行命令进行测试：
/usr/sbin/logrotate-f /etc/logrotate.conf
dateext表示转储文件会以日期来结束*


/etc/logrotate.conf 
 # see "man logrotate" for details 
 # rotate log files weekly 
 
 weekly          #–每周轮转一次 
 # keep 4 weeks worth of backlogs 
 rotate 4        #–保留四个 
 
 # create new (empty) log files after rotating old ones 
 create          #–rotate后，创建一个新的空文件 
 
 # uncomment this if you want your log files compressed 
 #compress       #–默认是不压缩的 
 
 # RPM packages drop log rotation information into this directory 
 include /etc/logrotate.d    #–这个目录下面配置文件生效 
   
 # no packages own wtmp - we'll rotate them here 
 /var/log/wtmp{         #–定义/var/log/wtmp这个日志文件 
    monthly                 #–每月轮转一次，取代了上面的全局设定的每周轮转一次 
    minsize 1M              #–定义日志必须要大于1M大小才会去轮转 
    create 0664 root utmp   #–新的日志文件的权限，属主，属主 
    rotate 1                #–保留一个，取代了上面的全局设定的保留四个 
 } 
   
 /var/log/btmp{ 
    missingok       #-如果日志丢失, 不报错 
    monthly 
    create 0600 root utmp 
    rotate 1 
 }

范例一:

sample logrotate configuration file

compress     # 全局设置, 压缩 
  
/var/log/messages{ 
    rotate 5     # 保留5份日志 
    weekly       # 每周轮换一次 
    postrotate   # 轮换之后重启syslogd服务 
    /usr/bin/killall-HUP syslogd 
    # rhel6中为:/bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true 
    # 可查看/etc/logrotate.d/下的配置文件 
    endscript 
} 
  
"/var/log/httpd/access.log"/var/log/httpd/error.log {   #  指定多个文件, 如果有特殊字符需要用单引号 
    rotate 5 
    mail www@my.org 
    size 100k        # 超过100k后切换日志, 并把老的日志发送邮件给www@my.org 
    sharedscripts    # 共享脚本.下面的postrotate脚本只运行一次. 
    postrotate 
    /usr/bin/killall-HUP httpd 
    endscript 
} 
  
/var/log/news/* {    # 少用通配符, 因会它会包括已经切换过的日志, 要用的话最好在*号后加上扩展名, 如*.log 
    monthly 
    rotate 2 
    olddir /var/log/news/old 
    missingok 
    postrotate 
    kill-HUP 'cat /var/run/inn.pid' 
    endscript 
    nocompress 
} 
  
/var/log/ipwall/messages.log {   #日志路径一定要和rsyslog定义的日志文件路径一致 
    rotate 65535             #滚动65535次 
    create 0777 syslog adm   #设置权限，方便windows连接samba服务器 
    compress                 #采用压缩 
    size 50M                 #文件大小50M以上的分割日志 
    dateext 
    dateformat .%s           #定义文件切割后的文件名，必须配合dateext使用 
  
    #posrotate/endscript这段脚本使rsyslog程序重新读取配置文件，程序释放对messages.log文件持有的文件描述符 
    postrotate 
    /bin/kill-HUP $(/bin/cat/var/run/rsyslogd.pid 2>/dev/null)& >/dev/null 
    endscript 
}