记一次线上OOM故障 Java heap space

我会带着你远行 2022-12-09 02:49 500阅读 0赞

### 1、发现问题 ###

早上测试环境一个应用机器容器 异常退出，然后开始排查问题，同时查看生产环境是否异常，发现生产程序正常运行，但是内存占用特别大，达到了70%，平时大部分时间保持在2,30%的水平，因为生产机器的性能比较好，配置比较高，所以内存70%是一个很大的数值了。初步怀疑是OOM问题，测试机由于内存比较小，所以导致异常的可能性非常大。

### 2、确认问题 ###

重启测试环境，发现一开始正常，但是内存消费在10分钟之内上升很快，最终报了OOM堆溢出　java.lang.OutOfMemoryError: Java heap space。测试环境设置的最大内存为8G，为了能够快速复现，我手动设置为4G，同时添加dump文件生成参数：

-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/heapdump.hprof

### 3、从容器中拷贝出dump文件 ###

由于我们应用是部署在docker中，生成dump文件之后，需要从容器中把dump文件拷贝出来。  
同时下载到本地

docker cp 容器id:/tmp/heapdump.hprof ./

### 4、使用jprofiler 分析 dump文件 ###

直接使用jprofiler打开dump文件，查看大对象  
![在这里插入图片描述][20200921164440265.png_pic_center]  
直接发现问题，一共就4个G的内存，int\[\] 数组就占了3个G。问题肯定是出在这里了。  
接着点开int\[\],发现如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwOTg5MTA1_size_16_color_FFFFFF_t_70_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwOTg5MTA1_size_16_color_FFFFFF_t_70_pic_center 1]  
上面开头的数据看着没有什么问题，但是后面竟然有128KB的int数组70多w个  
使用jprofiler查看图关系，去发现这个int的来源：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwOTg5MTA1_size_16_color_FFFFFF_t_70_pic_center 2]  
问题在于使用这个`LongestCommonSubsequence`的最长公共子序列工具类 的时候，没有采用单例的情况，每次计算都new了一个对象，错误代码如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwOTg5MTA1_size_16_color_FFFFFF_t_70_pic_center 3]  
从而导致`LongestCommonSubsequence` 中创建的int太多，没有来得及释放：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwOTg5MTA1_size_16_color_FFFFFF_t_70_pic_center 4]  
这也是一个低级的错误，在此记录，反思，刚好也熟悉一下jprofiler

[20200921164440265.png_pic_center]: /images/20221123/994cce292f374b97ad207cb91523b765.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwOTg5MTA1_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/62321844cb4246f799efdcc7c63a6a0e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwOTg5MTA1_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/24561fc650ce467a8350659e34fa9604.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwOTg5MTA1_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/c58ac335e1cc40afb4a1c588ac0e57ea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwOTg5MTA1_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/1a9aadaa6df24fbb9797081a93ca6255.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwOTg5MTA1_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/21dc4692c52749ce8886be8814e30d56.png