内存溢出的处理方式及问题背后的思考

￡神魔★判官ぃ 2023-10-02 02:20 1阅读 0赞

#### 内存溢出的处理方式及问题背后的思考 ####

###### 一 : 什么是内存溢出 ######

引用百度百科的解释：  
内存溢出(Out Of Memory，简称OOM)是指应用系统中存在无法回收的内存或使用的内存过多，最终使得程序运行要用到的内存大于能提供的最大内存。此时程序就运行不了，系统会提示内存溢出，有时候会自动关闭软件，重启电脑或者软件后释放掉一部分内存又可以正常运行该软件，而由系统配置、数据流、用户代码等原因而导致的内存溢出错误，即使用户重新执行任务依然无法避免。

对比生活场景就是，给了你一个1L的杯子，给你倒水的时候，却给你了2L甚至更多的水，超过了你的承受能力，这就溢出了。这样就很好理解了。

###### 二 : 产生原因（java为例） ######

**1:** JVM配置不合理  
一般情况下，大部分的项目都是使用默认的配置。  
那么这个时候就需要去统计项目业务操作产生的实例数，以及在高频时段业务频次，这样就可以计算出内存占用的峰值，进而调整Eden，Survivor等的参数。  
**2:** 内存没有释放  
部分线程实例没有及时释放，使得无用的实例占用过多的内存。  
**3:** 申请资源过多  
这种是最常见的问题，比如一个查询取到的数据量过大，集合中的实例过多，数据量过大，占用的内存自然就比较多。如果多个进程都进行了同样的操作，内存就会很容易溢出。

###### 三 : 问题的排查 ######

**1:** 现在Linux服务器找到自己的PID（进程号）  
常见命令：ps -ef | grep java

jps
    查看进行ID

![38885b84081241c7860062a016cd0896.png][]  
以generate的进程为例

jmap -heap 12892
    显示Java堆详细信息

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbWVzc2FnZeS4tuWwj-WSjOWwmg_size_11_color_FFFFFF_t_70_g_se_x_16]

jmap -histo 12892 >java.log
    显示堆中对象的统计信息，并将信息输入至java.log文件中
    打开java.log文件，可以看到实例的个数及占用的内存大小

![在这里插入图片描述][ef0c81f0b92b4095bb594635bd8af7d8.png]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbWVzc2FnZeS4tuWwj-WSjOWwmg_size_20_color_FFFFFF_t_70_g_se_x_16]

jstat -gcutil pid interval(ms)
    查看GC情况
    S0：Survivor space 0 utilization as a percentage of the space's current capacity.
    新生代中Survivor space 0区已使用空间的百分比
    S1：Survivor space 1 utilization as a percentage of the space's current capacity.
    新生代中Survivor space 1区已使用空间的百分比
    E：Eden space utilization as a percentage of the space's current capacity.
    新生代已使用空间的百分比
    O：Old space utilization as a percentage of the space's current capacity.
    老年代已使用空间的百分比
    M：Old space utilization as a percentage of the space's current capacity.
    永久带已使用空间的百分比
    CCS：Compressed class space utilization as a percentage.
    以百分比表示的压缩类空间利用率。
    YGC：Number of young generation GC events.
    从应用程序启动到当前，发生Yang GC 的次数
    YGCT：Young generation garbage collection time.
    从应用程序启动到当前，Yang GC所用的时间【单位秒】
    FGC：Number of full GC events.
    从应用程序启动到当前，发生Full GC的次数
    FGCT：Full garbage collection time.
    从应用程序启动到当前，Full GC所用的时间
    GCT:：Total garbage collection time.
    从应用程序启动到当前，用于垃圾回收的总时间【单位秒】
    
    jstat -gcutil 12892 1000

![在这里插入图片描述][5a70645ad0954ca1a5e2d270531bac15.png]  
通过以上命令基本可以找到那个实例的问题了，如果还不行，那试试找对应的线程。

top
    查看进程PID

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbWVzc2FnZeS4tuWwj-WSjOWwmg_size_14_color_FFFFFF_t_70_g_se_x_16]

top状态下 Shift + h 查询线程
    获取线程PID2 10进制转换成16进制
    Ctrl + C 退出
    如线程12904，转换后为3268

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbWVzc2FnZeS4tuWwj-WSjOWwmg_size_14_color_FFFFFF_t_70_g_se_x_16 1]

jstack PID >log.out
    如：jstack 6130 >log.out

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbWVzc2FnZeS4tuWwj-WSjOWwmg_size_16_color_FFFFFF_t_70_g_se_x_16]

打开log.out文件
    用刚才转换16进制后的参数搜索，可以看到对应的线程信息。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbWVzc2FnZeS4tuWwj-WSjOWwmg_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
如果做到这，还是不行，那只能下载dump文件了

jmap -dump:file=文件名.dump [pid]
    jmap -dump:format=b,file=文件名 [pid]
    format=b指定为二进制格式文件
    比如刚才的这个Java进程
    jmap -dump:file=test.dump 6130

![在这里插入图片描述][a3003679ad9346c8a43f4e2147821a3a.png]

将文件下载下来，可以使用jdk自带的visualvm工具进行查看分析，也可使用其他的分析工具。
    这样就可以查看完整的信息了。

###### 四 : 问题的思考 ######

***写一些自己的总结***  
**1：** 日常业务数据的操作，需要注意表的数据量，切忌全表查询，没有任何有效条件。  
**2：** 命令jstackjmapjstat 需要较高的权限，而且CUP飙升之后，一般会很快的回落。如果已上线的项目，需确保有相应的权限，以及时问题的排查。  
**3：** 就JAVA而言，后端的任何接口都是需要加校验的，即使前端增加了校验，后端仍要增加校验，防止前端校验失效等问题。  
如校验失效，不仅会对JVM造成压力，同样会对数据库造成压力。  
**4：** 已上线的项目，业务是累积的，数据量也是叠加的，需定时排查生产环境数据量，防患于未然。  
**5：** 对于大表的操作，一定要小心谨慎。

写到这也就差不多了，感兴趣的可以搜一下jstack jmap jstat。这种日常工作中问题的排查也是挺有趣的。  
有什么不对的还望指正，书写不易，觉得有帮助就点个赞吧！

###### 五 : PPT分享 ######

[https://download.csdn.net/download/qq\_38254635/86743025][https_download.csdn.net_download_qq_38254635_86743025]

###### 六 : 参考链接 ######

内存溢出百度百科：[https://baike.baidu.com/item/%E5%86%85%E5%AD%98%E6%BA%A2%E5%87%BA/1430777][https_baike.baidu.com_item_E5_86_85_E5_AD_98_E6_BA_A2_E5_87_BA_1430777]  
jstat官方文档：[https://docs.oracle.com/javase/8/docs/technotes/tools/unix/jstat.html][https_docs.oracle.com_javase_8_docs_technotes_tools_unix_jstat.html]

[38885b84081241c7860062a016cd0896.png]: https://img-blog.csdnimg.cn/38885b84081241c7860062a016cd0896.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbWVzc2FnZeS4tuWwj-WSjOWwmg_size_11_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/b6b375269fb34d70909f9a8abc0095ce.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAbWVzc2FnZeS4tuWwj-WSjOWwmg==,size_11,color_FFFFFF,t_70,g_se,x_16
[ef0c81f0b92b4095bb594635bd8af7d8.png]: https://img-blog.csdnimg.cn/ef0c81f0b92b4095bb594635bd8af7d8.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbWVzc2FnZeS4tuWwj-WSjOWwmg_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/1f57d6631cdd450280a395081801d7c3.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAbWVzc2FnZeS4tuWwj-WSjOWwmg==,size_20,color_FFFFFF,t_70,g_se,x_16
[5a70645ad0954ca1a5e2d270531bac15.png]: https://img-blog.csdnimg.cn/5a70645ad0954ca1a5e2d270531bac15.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbWVzc2FnZeS4tuWwj-WSjOWwmg_size_14_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/88b8319d7f7c40c5a3ee879748fb7c81.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAbWVzc2FnZeS4tuWwj-WSjOWwmg==,size_14,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbWVzc2FnZeS4tuWwj-WSjOWwmg_size_14_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/46dad7788c63401c8bf68503effb076e.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAbWVzc2FnZeS4tuWwj-WSjOWwmg==,size_14,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbWVzc2FnZeS4tuWwj-WSjOWwmg_size_16_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/2fea14c18d2c4b4f8e8c80b9967798a4.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAbWVzc2FnZeS4tuWwj-WSjOWwmg==,size_16,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbWVzc2FnZeS4tuWwj-WSjOWwmg_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/609174ff306547f788da3a2fbe110f4b.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAbWVzc2FnZeS4tuWwj-WSjOWwmg==,size_20,color_FFFFFF,t_70,g_se,x_16
[a3003679ad9346c8a43f4e2147821a3a.png]: https://img-blog.csdnimg.cn/a3003679ad9346c8a43f4e2147821a3a.png
[https_download.csdn.net_download_qq_38254635_86743025]: https://download.csdn.net/download/qq_38254635/86743025
[https_baike.baidu.com_item_E5_86_85_E5_AD_98_E6_BA_A2_E5_87_BA_1430777]: https://baike.baidu.com/item/%E5%86%85%E5%AD%98%E6%BA%A2%E5%87%BA/1430777
[https_docs.oracle.com_javase_8_docs_technotes_tools_unix_jstat.html]: https://docs.oracle.com/javase/8/docs/technotes/tools/unix/jstat.html