十万火急！线上服务不可用了怎么排查？

梦里梦外; 2023-01-21 02:19 92阅读 0赞

大家好，我是专门给大家分享干货的老田。另外，需要面试资料的朋友，记得后台回复面试

今天来分享一波实战，线上问题处理。话不多说，直接开干。

下面是线上机器的cpu使用率，可以看到从4月8日开始，随着时间cpu使用率在逐步增高，最终使用率达到100%导致线上服务不可用，后面重启了机器后恢复。

## 1、排查思路 ##

简单分析下可能出问题的地方，分为5个方向：

*  系统本身代码问题
 *  内部下游系统的问题导致的雪崩效应
 *  上游系统调用量突增
 *  http请求第三方的问题
 *  机器本身的问题

## 2、开始排查 ##

1.  查看日志，没有发现集中的错误日志，初步排除代码逻辑处理错误。
2.  首先联系了内部下游系统观察了他们的监控，发现一起正常。可以排除下游系统故障对我们的影响。
3.  查看provider接口的调用量，对比7天没有突增，排除业务方调用量的问题。
4.  查看tcp监控，TCP状态正常，可以排除是http请求第三方超时带来的问题。
5.  查看机器监控，6台机器cpu都在上升，每个机器情况一样。排除机器故障问题。即通过上述方法没有直接定位到问题。

## 3、解决方案 ##

1、重启了6台中问题比较严重的5台机器，先恢复业务。保留一台现场，用来分析问题。

2、查看当前的tomcat线程pid。

3、查看该pid下线程对应的系统占用情况。`top -Hp 384`

4、发现pid `4430` `4431` `4432` `4433` 线程分别占用了约40%的cpu

5、将这几个pid转为16进制，分别为`114e` `114f` `1150` `1151`

6、下载当前的java线程栈 `sudo -u tomcat jstack -l 384>/1.txt`

7、查询5中对应的线程情况，发现都是gc线程导致的

8、`dump java`堆数据

`sudo -u tomcat jmap -dump:live,format=b,file=/dump201612271310.dat 384`

9、使用MAT加载堆文件，可以看到`javax.crypto.JceSecurity`对象占用了95%的内存空间，初步定位到问题。

[面试专栏：第1-20期文章汇总][1-20]

MAT下载地址：

> http://www.eclipse.org/mat/![4943947b9027ba5b738c3b7ae1f7c24b.png][]

10、查看类的引用树，看到`BouncyCastleProvider`对象持有过多。即我们代码中对该对象的处理方式是错误的，定位到问题。

关于`MAT`推荐：[给，你们想要的内存溢出MAT排查工具][MAT]

## 4、代码分析 ##

我们代码中有一块是这样写的

这是加解密的功能，每次运行加解密都会new一个`BouncyCastleProvider`对象,放倒`Cipher.getInstance()`方法中。

看下`Cipher.getInstance()`的实现，这是jdk的底层代码实现，追踪到JceSecurity类中

verifyingProviders每次put后都会`remove`，`VerificationResults`只会put，不会remove.![bb32ee02fcac2e445804554a3bee8ee9.png][]

看到`verificationResults`是一个static的map，即属于JceSecurity类的。所以每次运行到加解密都会向这个map put一个对象，而这个map属于类的维度，所以不会被GC回收。这就导致了大量的new的对象不被回收。

## 5、代码改进 ##

将有问题的对象置为static，每个类持有一个，不会多次新建。

## 6、本文总结 ##

遇到线上问题不要慌，首先确认排查问题的思路：

1.  查看日志
2.  查看CPU情况
3.  查看TCP情况
4.  查看java线程，jstack
5.  查看java堆，jmap
6.  通过MAT分析堆文件，寻找无法被回收的对象

好了，今天的分享就这么多，期待你的点赞、在看、转发，先谢谢啦！

来源：https://urlify.cn/Q3Ar6z

***推荐阅读***

*  [MySQL的25个连环炮][MySQL_25]
 *  [线程池的12个连环炮][12]
 *  [并发编程基础的12个连环炮][12 1]
 *  [JVM的18个连环炮][JVM_18]
 *  [HashMap的31连环炮，我倒在第5个上][HashMap_31_5]  
    
 *  [Redis的43连环炮，试试你能扛住几个][Redis_43]
 *  [别不信，98%的程序员都是这样的][98]
 *  [37个Dubbo 连环炮，能扛住几个？][37_Dubbo]
 *  [限时免费下载，程序员必备书籍][Link 1]

[1-20]: http://mp.weixin.qq.com/s?__biz=MzI1MTYxNTE0Ng%3D%3D&chksm=e9f10a4bde86835d38c55024d9a08daf6a49adc6b3b4cd9ca2c1b2ad5f52aa69256b7c7f2c41&idx=1&mid=2247485582&scene=21&sn=fbf04d6c46bd8165afb9fd970a753719#wechat_redirect
[4943947b9027ba5b738c3b7ae1f7c24b.png]: /images/20221021/87ce23d3b3074fbaacd14713253e325f.png
[MAT]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd554272ca22cb64e0c8f31b62f2f84aa83856759bcaa06e3ca69724c0819bb9d29ffd7ce6b7&idx=1&mid=2247494297&scene=21&sn=ba6ccfb4d31b7695c83924aa7038c9f6#wechat_redirect
[bb32ee02fcac2e445804554a3bee8ee9.png]: /images/20221021/b4882c93623b438ea84dfd30362ebbd5.png
[MySQL_25]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd55694bca22e05d2d6bf09ea577a9c00a3842320a542d888bcffa2cf527e92f45bd92b6340f&idx=1&mid=2247500192&scene=21&sn=ea1967dba7d155cb786a87112e14f701#wechat_redirect
[12]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd55685aca22e14cbf1a0292b45e1cb05d4e89008b0f21facb058d26d4ba58591ed8328a5177&idx=1&mid=2247499953&scene=21&sn=4eadc79edac61cb349c1496b57dab73d#wechat_redirect
[12 1]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd55684dca22e15b7c0b801142f5a038b4c6ed86a21fe7e3c9c11ae8984569eae3ad811e67fa&idx=1&mid=2247499942&scene=21&sn=7fe98b1860204dcde8eb087dacc7a7a6#wechat_redirect
[JVM_18]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd5568e5ca22e1f3ee3819e62fa72e040e66cf57e76433a10da24f66f1482e0380f04a20d6ff&idx=1&mid=2247499790&scene=21&sn=5b1eae8be6ef173b8be416e4a3aa3ceb#wechat_redirect
[HashMap_31_5]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd556928ca22e03e574ca10c7b8afe2bab0d44d1f01490ec83e7d14e111dedd7bc617b8742f2&idx=1&mid=2247500227&scene=21&sn=88ceef5f2a09efe2832cdb68578720b1#wechat_redirect
[Redis_43]: http://mp.weixin.qq.com/s?__biz=MzI1MTYxNTE0Ng%3D%3D&chksm=e9f10751de868e47db8f327763a82dda3c0ef20b281320177b4a35a1b3b5039dc2cfa3c086ab&idx=1&mid=2247484820&scene=21&sn=de076ddd3b6a72d34fc7ae183e9cc194#wechat_redirect
[98]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd555753ca22de4522b62563737854b0359847f046b416df20cdfa099ea81d8e03c8bb22f4d1&idx=1&mid=2247499704&scene=21&sn=e3a867f360e8a8cccf8d79e0652c36c0#wechat_redirect
[37_Dubbo]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd556bfeca22e2e8f834936af9f68bb7e34bc797c389f51c87d18dc6d51bd1aca5f9a62fd4d0&idx=1&mid=2247500565&scene=21&sn=72079f96d1e8669ff3b3ff5375147093#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd556a5fca22e349a9cc0d000aed257097046f7459c10cf822e15469979e1b617ca343a4093b&idx=2&mid=2247500468&scene=21&sn=d8a7349e02ad2a3289bb738b1de1d43f#wechat_redirect