Linux之进程数和句柄数

川长思鸟来 2023-06-13 06:06 27阅读 0赞

**Linux之进程数和句柄数**

**1.背景**

由于业务的需要，我们在阿里云上面申请了30多台主机，安装的是centos7.2.1511系统。一般情况下，我们需要对文件句柄数、进程数等做一些标准化的配置。

**2.进程和句柄的概念**

一个程序可能打开多个进程，一个进程在运行中会打开很多资源，如文件file、通讯连接socket、正在监听的端口等，我们都统称为句柄（handle）。linux任何东西都是文件，所以当一个进程打开的句柄数超过系统限制时，会提示too many open files。

**3.进程数限制**

资源限制的配置可以在/etc/security/limits.conf或/etc/security/limits.d/ 下的子配置文件中配置，系统是先加载limits.conf然后按照英文字母顺序加载limits.d目录下的配置文件，后加载配置覆盖之前的配置。

**3.1 用户资源限制**

2.1 修改root用户max user process
    vim /etc/security/limits.conf
    root     soft   nproc     10000
    root     hard   nproc     10000
    
    2.2 修改普通用户max user process
    方法1：
    vim /etc/security/limits.conf
    tomcat     soft   nproc     10000
    tomcat     hard   nproc     10000
    方法2：
    vim /etc/security/limits.d/20-nproc.conf
    *          soft    nproc     4096
    root       soft    nproc     unlimited
    tomcat     soft    nproc     10000
    tomcat     hard    nproc     10000
    
    说明：
    1.soft为warning值，hard为最大值，*代表匹配所有用户。
    2.在limits.conf里配置针对所有用户（*）的max user process的不生效，只能在20-nproc.conf里配置。
    3.如果单独对某一用户，如tomcat这种，可以在limits.conf配置文件里单独配置，也可以在20-nproc.conf里配置。
    4.如果20-nproc.conf和limits.conf同时配置了如tomcat用户的max user process，系统以20-nproc.conf里的配置值为标准。

**3.2 service资源限制**

对于那些不是通过PAM认证登录的用户，如mysql、nginx等，上述配置是不生效的；因为在CentOS 7/RHEL 7的系统中，使用Systemd替代了之前的SysV，因此/etc/security/limits.conf文件的配置作用域缩小了一些，limits.conf这里的配置，只适用于通过PAM认证登录用户的资源限制，它对systemd的service的资源限制不生效。
    
    需要通过文件/etc/systemd/system.conf和/etc/systemd/user.conf配置， 同样，也会加载两个对应的目录中的所有.conf文件 /etc/systemd/system.conf.d/*.conf 和 /etc/systemd/user.conf.d/*.conf。其中，system.conf是系统实例使用的，user.conf用户实例使用的。一般的sevice，使用system.conf中的配置即可。system.conf.d/*.conf中配置会覆盖system.conf。

**示例1：docker容器的进程数限制**

vim /etc/systemd/system/docker.service 
    [Unit]
    Description=Docker Application Container Engine
    Documentation=https://docs.docker.com
    After=network-online.target firewalld.service
    Wants=network-online.target
     
    [Service]
    Type=notify
    ExecStart=/usr/bin/dockerd
    ExecReload=/bin/kill -s HUP $MAINPID
    LimitNPROC=16665         #修改容器的进程数限制，只能在docker服务的docker.service文件里修改
    TimeoutStartSec=16665    #修改容器的句柄数限制，只能在docker服务的docker.service文件里修改
    TimeoutStartSec=0
    Delegate=yes
    KillMode=process
    Restart=on-failure
    StartLimitBurst=3
    StartLimitInterval=60s
     
    [Install]
    WantedBy=multi-user.target

注明：查看某个服务的资源限制 （cat /proc/pid/limits）。

**3.3 系统资源限制**

每个用户设置了其能打开的最大进程数，但这样并不能控制系统总的进程数（kernel.pid\_max），假设kernel.pid\_max=1000，用户的max user processes,值无论设置多大，最多能打开的进程数依然为1000。

查看全局的pid_max方法：
    方法1：
    cat /proc/sys/kernel/pid_max
    方法2：
    cat /etc/sysctl.conf
    kernel.pid_max = 32768
    
    修改全局pid_max方法
    临时修改：echo 65535 > /proc/sys/kernel/pid_max
    永久修改：echo "kernel.pid_max = 65535" >> /etc/sysctl.conf && sysctl -p

**3.4 查看进程数**

1.查看系统下所有进程
    ps -eFH | wc -l
    ps aux | wc -l
    
    2.查看系统当前所有线程
    ps -eLf | wc -l
    
    3.查看一个进程下有多少个线程
    pstack pid
    top -H -p pid
    ps hH p pid | wc -l
    cat /proc/pid/status | grep Threads
    
    4.查看系统当前允许最大线程数
    cat /proc/sys/kernel/threads-max

**4.句柄数限制**

**4.1 用户句柄数限制**

登录用户的限制，可通过/etc/security/limits.conf或 /etc/security/limits.d/下的子配置文件来配置。

修改root用户的句柄数限制
    vim /etc/security/limits.conf
    #该文件只影响通过PAM登录的用户，不影响系统服务的资源限制
    root soft nofile 65535
    root hard nofile 65535
    
    修改tomcat用户句柄数限制
    方法1：
    vim /etc/security/limits.conf
    tomcat soft nofile 65535
    tomcat hard nofile 65535
    方法2：
    vim /etc/security/limits.d/20-nproc.conf
    tomcat hard nofile 99999
    tomcat soft nofile 99999
    
    注明：如果需要单独对某一用户的文件句柄数进行限制，如tomcat，则如上述方法，如果对所有用户的文件句柄数进行限制，则为 * hard nofile 99999和* soft nofile 99999。

**4.2 service句柄数限制**

示例1：docker容器的进程数限制
    
    vim /etc/systemd/system/docker.service 
    [Unit]
    Description=Docker Application Container Engine
    Documentation=https://docs.docker.com
    After=network-online.target firewalld.service
    Wants=network-online.target
     
    [Service]
    Type=notify
    ExecStart=/usr/bin/dockerd
    ExecReload=/bin/kill -s HUP $MAINPID
    LimitNOFILE=infinity
    LimitNPROC=16665         #修改容器的进程数限制，只能在docker服务的docker.service文件里修改
    TimeoutStartSec=16665    #修改容器的句柄数限制，只能在docker服务的docker.service文件里修改
    Delegate=yes
    KillMode=process
    Restart=on-failure
    StartLimitBurst=3
    StartLimitInterval=60s
     
    [Install]
    WantedBy=multi-user.target

**4.3 系统句柄数限制**

查看系统允许最大句柄数
    cat /proc/sys/fs/file-max
    
    查看系统当前使用的总句柄数
    cat /proc/sys/fs/file-nr
    1408    0       95852    #1408为使用数，95852为总数
    
    临时修改
    echo  6553560 > /proc/sys/fs/file-max
    
    永久修改
    echo "fs.file-max=655350" >> /etc/sysctl.conf && sysctl -p

**5.ulimit命令**

[root@docker ~]# ulimit  -a
    core file size          (blocks, -c) 0
    data seg size           (kbytes, -d) unlimited
    scheduling priority             (-e) 0
    file size               (blocks, -f) unlimited
    pending signals                 (-i) 7284
    max locked memory       (kbytes, -l) 64
    max memory size         (kbytes, -m) unlimited
    open files                      (-n) 99998
    pipe size            (512 bytes, -p) 8
    POSIX message queues     (bytes, -q) 819200
    real-time priority              (-r) 0
    stack size              (kbytes, -s) 8192
    cpu time               (seconds, -t) unlimited
    max user processes              (-u) 10000
    virtual memory          (kbytes, -v) unlimited
    file locks                      (-x) unlimited

**5.1 命令参数**

命令参数
    -H   设置硬资源限制，一旦设置不能增加。 
    -S   设置软资源限制，设置后可以增加，但是不能超过硬资源设置。   
    -a   显示当前所有的 limit 信息。  
    -c   最大的 core 文件的大小， 以 blocks 为单位。 
    -d   进程最大的数据段的大小，以 Kbytes 为单位。 
    -f   进程可以创建文件的最大值，以 blocks 为单位。
    -l   最大可加锁内存大小，以 Kbytes 为单位。   
    -m   最大内存大小，以 Kbytes 为单位。
    -n   Linux操作系统对一个进程可以打开最大文件描述符的数量。 
    -p   管道缓冲区的大小，以 Kbytes 为单位。 
    -s   线程栈大小，以 Kbytes 为单位。   
    -t   最大的 CPU 占用时间，以秒为单位。    
    -u   用户最大可用的进程数。   
    -v   进程最大可用的虚拟内存，以 Kbytes 为单位。
    
    resource：
    core - 限制内核文件的大小
    date - 最大数据大小
    fsize - 最大文件大小
    memlock - 最大锁定内存地址空间
    nofile - 打开文件的最大数目
    rss - 最大持久设置大小
    stack - 最大栈大小
    cpu - 以分钟为单位的最多 CPU 时间
    noproc - 进程的最大数目
    as - 地址空间限制
    maxlogins - 此用户允许登录的最大数目

**5.2 查看句柄数**

查看系统用户所有限制值：ulimit -a
    设置用户open files（用户可以打开文件的最大数目）：ulimit -n 4096。执行该命令非root用户只能设置到4096。想要设置到8192需要sudo权限或者root用户。
    查看当前系统打开的文件数量: lsof | wc -l  
    查看当前进程的打开文件数量：lsof -p pid | wc -l      （lsof -p 1234 | wc -l  ）
    查看当前进程的最大可以打开的文件数：cat /proc/PID/limits  (如果通过ulimit -n 设置或者修改/etc/security/limits.conf，看看进程是否生效)  
    查看系统总限制打开文件的最大数量：cat /proc/sys/fs/file-max

注明：lsof只能以root权限执行。在终端下输入lsof即可显示系统打开的文件,因为 lsof 需要访问核心内存和各种文件,所以必须以 root 用户的身份运行它才能够充分地发挥其功能。