ScriptEngineManager groovy 内存泄露

怼烎@ 2022-12-16 13:03 220阅读 0赞

#### 业务场景： ####

1.  使用java8提供的ScriptEngineManager 加载并运行groovy脚本，每次运行从数据库中获取脚本来实现动态编译运行

#### 运行一段时间后 ####

1.  初始用户量少，没感觉，偶尔一次内存溢出重启就好（话外音：搞不清楚状况先重启 总是没错的）
2.  后来用户量越来越大，溢出的次数就越来越频繁 `java.lang.OutOfMemoryError: GC overhead limit exceeded`

#### 通过导出headdump分析 ####

1.  发现非堆内存一直在持续增加，不能释放，网上查询的资料也说明了这一点，groovy确实涉及内存溢出问题

#### 本地验证 ####

1.  循环调用代码片断  
    ···  
    ScriptEngineManager factory = new ScriptEngineManager();  
    ScriptEngine engine = factory.getEngineByName(“groovy”);  
    String script = “sql = “”“sql\\n” +  
    " select nick\_name name,nick\_name nickName,head\_img,sex gender,phone,open\_id,project\_account account,update\_date,4 createType \\n” +  
    " from t\_project\_customer where phone is not null and update\_date >= \#\{offset\} order by update\_date asc limit 100\\n" +  
    “”""";  
    engine.eval(script)  
    ···
2.  3分钟内增加了10M的非堆内存  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hcGxlX3Nvbg_size_16_color_FFFFFF_t_70_pic_center]

#### 通过谷歌到的信息,Debug ####

1.  定位到代码, 发现`classMap.get(script)` 从未命中过  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hcGxlX3Nvbg_size_16_color_FFFFFF_t_70_pic_center 1]
2.  再看`generateScriptName()` 实现，发现脚本名称是由全局静态变量 `counter` 控制，而非想像中的`md5(script)`  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hcGxlX3Nvbg_size_16_color_FFFFFF_t_70_pic_center 2]

#### 分析结论 ####

1.  综合上面的信息 每一次执行（从未命中缓存 + 生成新的Class）= 非堆内存的持续增加
2.  而未命中缓存是因为代码中每一次调用，都是新创建的`GroovyScriptEngineImpl`

ScriptEngineManager factory = new ScriptEngineManager();
                ScriptEngine engine = factory.getEngineByName("groovy");

#### 解决方法 ####

1.  将上面 `GroovyScriptEngineImpl`的生成部份修改为全局变量，不要重复创建  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hcGxlX3Nvbg_size_16_color_FFFFFF_t_70_pic_center 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hcGxlX3Nvbg_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/8778564436dc4d94a52708cb350cdc77.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hcGxlX3Nvbg_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/c144402df5864999aaee688c23b878c3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hcGxlX3Nvbg_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/ba9bb5ec30964f27a9bb0171c730e80f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hcGxlX3Nvbg_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/60f2f3522d1849c592966665f4549e4d.png