业务中台-- too many open files引发的血案

男娘i 2022-12-24 05:56 49阅读 0赞

背景介绍

系统Load突然飙升到峰值，业务服务也因失败率过高而相继报警，业务系统大有雪崩之势。

一、产生原因

经排查确定是因为中台热加载业务共享模型后文件删除没有释放句柄导致服务器出现了too many open files的错误。

too many open files是Linux系统中常见的错误，从字面意思上看就是说程序打开的文件数过多，不过这里的files不单是文件的意思，也包括打开的通讯链接(比如socket)，正在监听的端口等等，所以有时候也可以叫做句柄(handle)，这个错误通常也可以叫做句柄数超出系统限制。   
引起的原因就是进程在某个时刻打开了超过系统限制的文件数量以及通讯链接数，通过命令ulimit -a可以查看当前系统设置的最大句柄数是多少：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5MjE5MjE_size_16_color_FFFFFF_t_70][]  
open files那一行就代表系统目前允许单个进程打开的最大句柄数，这里是1024。   
使用命令**lsof -p 进程id**可以查看单个进程所有打开的文件详情，使用命令**lsof -p 进程id | wc -l**可以统计进程打开了多少文件，如果文件数过多使用lsof -p 进程id命令无法完全查看的话，可以使用**lsof -p 进程id > openfiles.log**将执行结果内容输出到日志文件中查看。

二、  
1、增大允许打开的文件数——命令方式

三、解决方法  
1、增大允许打开的文件数——命令方式  
**ulimit -n 2048**  
这样就可以把当前用户的最大允许打开文件数量设置为2048了，但这种设置方法在重启后会还原为默认值。   
ulimit -n命令非root用户只能设置到4096。   
想要设置到更大需要sudo权限或者root用户。

2、增大允许打开的文件数——修改系统配置文件  
**vim /etc/security/limits.conf  **  
\#在最后加入    
**\* soft nofile 4096    
\* hard nofile 4096  **  
或者只加入

** \* - nofile 8192**

最前的 \* 表示所有用户，可根据需要设置某一用户，例如

**roy soft nofile 8192    
roy hard nofile 8192  **  
注意”nofile”项有两个可能的限制措施。就是项下的hard和soft。 要使修改过得最大打开文件数生效，必须对这两种限制进行设定。 如果使用”-“字符设定, 则hard和soft设定会同时被设定。

3、检查程序问题  
如果你对你的程序有一定的解的话，应该对程序打开文件数(链接数)上限有一定的估算，如果感觉数字异常，请使用第一步的lsof -p 进程id > openfiles.log命令，获得当前占用句柄的全部详情进行分析

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5MjE5MjE_size_16_color_FFFFFF_t_70]: /images/20221120/88bf1e75fcab4f03b6aaf9d1cefb34d2.png