生产环境Java应用服务内存泄漏分析与解决

谁借莪１个温暖的怀抱￠ 2023-09-24 23:06 104阅读 0赞

有个生产环境CRM业务应用服务，情况有些奇怪，监控数据显示内存异常。内存使用率99.%多。通过生产监控看板发现，CRM内存超配或内存泄漏的现象，下面分析一下这个问题过程记录。

**1、服务器硬件配置部署情况**

生产服务器采用阿里云ECS机器，配置是2HZ、8GB，单个应用服务独占，CRM应用独立部署，即单台服务器仅部署一个java应用服务。

用了6个节点6台机器，每台机器都差不多情况。

监控看板如下：

![30dec43875f282fa1d2ec55b3829daed.png][]

top命令查看物理占用情况

![075ad8d2677feaac6e40ddc09d436048.png][]

通过看板情况来看确实存在异常情况，下面进一步分析问题原因。

**2、应用启动参数配置**

应用启动配置参数如下：

/usr/bin/java

\-javaagent:/home/agent/skywalking-agent.jar

\-Dskywalking.agent.service\_name=xx-crm

\-XX:+HeapDumpOnOutOfMemoryError

\-XX:HeapDumpPath=/tmp/xx-crm.hprof

\-Dspring.profiles.active=prod

*-server -Xms4884m -Xmx4884m -Xmn3584m*

\-XX:MetaspaceSize=512m

\-XX:MaxMetaspaceSize=512m

\-XX:CompressedClassSpaceSize=128m

\-jar /home/xxs-crm.jar

**堆内：**最大最小堆内存*4884m约4.8G*左右，其中新生代*-Xmn3584m 约*3.5G左右，

**非堆：** 元数据区配置 512M，类压缩空间 128M, Code Cache、buffer等代码缓存区240M（没有配置参数，通过监控看板看到的）。

**3、内存分布统计**

从监控看板的数据来看，我们简单统计一下内存分配数据情况。

通过JVM配置参数和监控看板数据可知：

**堆内存：4.8G**

**非堆内存**：（Metaspace）512M+（CompressedClassSpace）128M+(Code Cache、Buffer等)240M约等1GB左右。

**堆内存(heap)+非堆内存（nonHeap）=5.8G**

8GB物理内存除去操作系统本身占用大概占500M。即除了操作系统本身占用之外，还有7.5G可用内存。

但是 **7.5-5.8=1.7GB，**起码至少还有1~2GB空闲才合理呀！怎么内存占用率99%多，就意味着有**1~2G**不知道谁占去了，有点诡异！

**4、问题分析**

先看一下JVM内存模型，环境是使用JDK8

JVM内存数据分区如下图所示：

![4c702491c8346cb4d15889143d5a9972.png][]

堆heap分配结构如下图所示:

![93f00a562bc7a86275b5b8944789a92b.png][]

堆大家都比较熟悉，也容易理解的，也是java程序接触得最多的一块，不存在什么数据上统计错误，或占用不算之类的。

那说明额外占用也非堆里面，只不过没有统计到非堆里面去，*曾经一度怀疑监控prometheus展示的数据有误*。

其实不是监控统计的问题，那是什么问题呢？

先看一下dump文件数据，这里使用MAT工具（一个开源免费的内存分析工具，个人认为比较好用，推荐大家使用。下载地址：https://www.eclipse.org/mat/downloads.php）。

通过下载内存dump镜像观察到，如下图所示：

![61d358e7310e079039f564c983919018.png][]

有个offHeapStore，这个东西堆外内存，可以初步判断是 **ehcahe**引起的。

[30dec43875f282fa1d2ec55b3829daed.png]: https://img-blog.csdnimg.cn/img_convert/30dec43875f282fa1d2ec55b3829daed.png
[075ad8d2677feaac6e40ddc09d436048.png]: https://img-blog.csdnimg.cn/img_convert/075ad8d2677feaac6e40ddc09d436048.png
[4c702491c8346cb4d15889143d5a9972.png]: https://img-blog.csdnimg.cn/img_convert/4c702491c8346cb4d15889143d5a9972.png
[93f00a562bc7a86275b5b8944789a92b.png]: https://img-blog.csdnimg.cn/img_convert/93f00a562bc7a86275b5b8944789a92b.png
[61d358e7310e079039f564c983919018.png]: https://img-blog.csdnimg.cn/img_convert/61d358e7310e079039f564c983919018.png