利用log4j+mongodb实现分布式系统中日志统一管理

逃离我推掉我的手 2022-07-13 00:00 177阅读 0赞

背景

http://www.cnblogs.com/leefreeman/p/3610459.html?utm\_source=tuicool&utm\_medium=referral

在分布式系统当中，我们有各种各样的WebService，这些服务可能分别部署在不同的服务器上，并且有各自的日志输出。为了方便对这些日志进行统一管理和分析。我们可以将日志统一输出到指定的数据库系统中，而再由日志分析系统去管理。而这个储存日志的数据库目前最适合的还是mongodb，一是因为它轻便、简单，与log4j整合方便，对系统的侵入性低。二是因为它与大型的关系型数据库相比有不少优势，比如查询快速、储存结构（json）利于扩展、免费等。

[![image][]][image 1]

log4j与mongodb整合

1、首先安装mongodb数据库，具体安装方法请百度；

2、在你的应用程序中引用以下类库：

Mongo Java driver jar包 [下载][Link 1]   
Log4J jar包 注意版本，一定要1.2.16及以上。[下载][Link 2]   
log4mongo-java jar包 [下载][Link 3]

3、在你的web项目中创建log4j.properties文件。

4、配置log4j.properties文件，使之整合mongodb：

1:  log4j.rootLogger=INFO,stdout,MongoDB

3:  log4j.appender.MongoDB=org.log4mongo.MongoDbAppender

4:  log4j.appender.MongoDB.databaseName=logs

5:  log4j.appender.MongoDB.collectionName=log

6:  log4j.appender.MongoDB.hostname=ubuntu

7:  log4j.appender.MongoDB.port=27017

9:  log4j.appender.stdout=org.apache.log4j.ConsoleAppender

10:  log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

11:  log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %5p %c{1}:%L - %m%n

5、配置应用的日志输出格式：

1:  log4j.logger.com.cnblogs.leefreeman.servlet=INFO,action

2:  log4j.appender.action.Threshold = INFO

3:  log4j.appender.action=org.apache.log4j.DailyRollingFileAppender

4:  log4j.appender.action.encoding=utf8

5:  log4j.appender.action.File=/opt/logs/action.log

6:  log4j.appender.action.DatePattern  =  '_'yyyy-MM-dd'.log'

7:  log4j.appender.action.layout=org.apache.log4j.PatternLayout

8:  log4j.appender.action.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %5p %c{1}:%L - %m%n

6、在应用程序中使用日志：

1:  public class IndexServlet extends HttpServlet {

2:      private static Logger logger = Logger.getLogger(IndexServlet.class);

3:      private static final long serialVersionUID = -5244922269946905057L;

5:      @Override

6:      protected void doGet(HttpServletRequest req, HttpServletResponse resp)

7:              throws ServletException, IOException {

8:          logger.info("hello log4j+mongodb");

9:          PrintWriter out = resp.getWriter();

10:          out.print("hello world");

11:          out.flush();

12:          out.close();

13:      }

14:  }

7、通过Mongodb客户端系统，查看日志情况：

[![image][image 2]][image_image 2]

日志成功写入mongdb数据库，可以看到在数据库中日志的结构相当清晰。

使用日志系统管理mongodb的日志

可以开发一个日志系统连接mongodb数据库，进行日志数据的管理和分析。你也可以使用mongodb目前有的一些Web客户端来管理，下面介绍两个mongodb常用的Web客户端：

**mongovision**：使用extjs作为前端，体验较好，但需要java7。

[![image][image 3]][image_image 3]

**rock\_mongo**：基于php的MongoDB管理工具。

[![image][image 4]][image_image 4]

mongodb的部署方式

在我们数据量不是太大的情况下，并且日志数据的重要性不是太强的时候，我们可以快速搭建出最简单的mongodb单实例模式，来储存日志数据。这种方式最简单最快速。

[![image][image 5]][image_image 5]

当我们考虑到安全、灾备等因素时，我们一般可以考虑主-从模式搭建mongodb服务器。

[![image][image 6]][image_image 6]

采用主-从模式后主节点挂掉了后从节点可以接替主机继续服务。这种模式比单节点的高可用性要好很多。

如果有一天数据越来越多，你发现mongodb处理它们越来越吃力，你就得想办法怎么让它减压。一般的做法是，部署多个从节点，来分担主节点压力。在这里我们可以想到Mysql的读写方案，同样也适合Mongodb。

[![image][image 7]][image_image 7]

你可以让主节点用于写入，而从节点用于读操作（根据你的应用读和写操作的比例来分配）。这样读写分离，主从分担数据库操作压力。

关于mongodb各种模式的具体部署配置方法，在这不再介绍有兴趣可以查下资料。此外在面对海量数据时，还有很多针对性较强的集群方案，希望有经验的朋友介绍一下。

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div style="line-height:25px"> 
     <a href="http://creativecommons.org/licenses/by/2.5/cn/" title="Creative Commons Attribution 2.5 China Mainland License" style="outline:none; text-decoration:none; color:rgb(61,129,238)" rel="nofollow"><img alt="" src="http://www.cnblogs.com/images/cnblogs_com/leefreeman/88x31.png" height="31" width="88" style="border:0px rgb(221,221,221); background-color:rgb(255,255,255)"></a> 
    </div> </td> 
   <td>本文基于<a href="http://creativecommons.org/licenses/by/2.5/cn/" title="Creative Commons Attribution 2.5 China Mainland License" style="outline:none; text-decoration:none; color:rgb(61,129,238)" rel="nofollow">署名 2.5 中国大陆许可协议</a>发布，欢迎转载，演绎或用于商业目的，但是必须保留本文的署名<a href="http://www.cnblogs.com/leefreeman/" style="outline:none; text-decoration:none; color:rgb(61,129,238)" rel="nofollow">李平</a>（包含链接），具体操作方式可参考此处。如您有任何疑问或者授权方面的协商，请<a href="mailto:lp-go@163.com" style="outline:none; text-decoration:none; color:rgb(61,129,238)" rel="nofollow">给我留言。</a></td> 
  </tr> 
 </tbody> 
</table>

[image]: /images/20220713/3d2891944aa84dbba2b7f39ae8a04acb.png
[image 1]: http://images.cnitblog.com/blog/352511/201403/272320257967251.png
[Link 1]: http://github.com/mongodb/mongo-java-driver/downloads
[Link 2]: http://logging.apache.org/log4j/1.2/download.html
[Link 3]: http://log4mongo.org/display/PUB/Downloads
[image 2]: http://images.cnitblog.com/blog/352511/201403/190204319742882.png
[image_image 2]: /images/20220713/46f424b31187459f8a4ac3f486d0a739.png
[image 3]: http://images.cnitblog.com/blog/352511/201403/190204445998458.png
[image_image 3]: /images/20220713/bee70ad931bd4755b4aa74f30bf7ebd0.png
[image 4]: http://images.cnitblog.com/blog/352511/201403/190204537562394.png
[image_image 4]: /images/20220713/eb78925ac98f41b78ea87fa82a97fb69.png
[image 5]: http://images.cnitblog.com/blog/352511/201403/272305361557440.png
[image_image 5]: /images/20220713/ae5aeb7cb7ff45778956618802f9d16b.png
[image 6]: http://images.cnitblog.com/blog/352511/201403/272305406556666.png
[image_image 6]: /images/20220713/71cb96810c5e4540b9fad1dd4a2e9c65.png
[image 7]: http://images.cnitblog.com/blog/352511/201403/272305436713379.png
[image_image 7]: /images/20220713/466e6fc6cd44434daa013687ac6c904b.png