使用Supervisor监控进程

你的名字 2022-11-22 12:45 246阅读 0赞

### 目录 ###

*  1 Supervisor简介
 *  2 安装
 *  3 配置
 *   *  3.1 生成主配置文件supervisord.conf
     *  3.2 配置项目配置文件
 *  4 启动
 *  5 常用命令
 *  6 注意事项
 *  7 可视化集群管理
 *  8 遗留问题
 *  9 参考

# 1 Supervisor简介 #

Supervisor 是一个用 Python 写的进程管理工具，可以很方便的用来在 UNIX-like 系统（不支持 Windows）下启动、重启（自动重启程序）、关闭进程（不仅仅是 Python 进程）。

# 2 安装 #

Ubuntu系统下：apt-get install supervisor，通过这种方式安装后，自动设置为开机启动

也可以通过 pip install supervisor 进行安装，但是需要手动启动，然后设置为开机启动。如果需要离线安装，则先使用pip download supervisor将相关的安装包下载到本地。

# 3 配置 #

Supervisor 是一个 C/S 模型的程序，supervisord 是 server 端，supervisorctl 是 client 端。

supervisord是supervisor的服务端，它负责自行调用启动子程序，响应来自客户端的命令，重新启动崩溃或退出的子进程，记录其子进程stdout和stderr 输出以及生成和处理与子进程生存期中的点相对应的“事件”。

supervisorctl是supervisor的命令行客户端（command-line client），提供类似shell的命令 交互功能。supervisorctl通过使用UNIX域套接字或Internet（TCP）套接字与supervisord服务端进行通信

## 3.1 生成主配置文件supervisord.conf ##

用pip方式安装，默认/etc/supervisor下没有该配置文件。  
具体命令如下：

echo_supervisord_conf > supervisord.conf
    sudo mkdir /etc/supervisor/
    sudo cp supervisord.conf /etc/supervisor/

修改supervisord.conf，具体修改了\[include\]下的路径和\[inet\_http\_server\]下放开了web端口地址，可以使用web窗口管理supervisorctl。

[unix_http_server]
    file=/tmp/supervisor.sock   ; the path to the socket file
    
    [inet_http_server]         ; inet (TCP) server disabled by default
    port=*:9001        ; ip_address:port specifier, *:port for all iface
    username=user              ; default is no username (open server)
    password=123456               ; default is no password (open server)
    
    [supervisord]
    logfile=/tmp/supervisord.log ; main log file; default $CWD/supervisord.log
    logfile_maxbytes=50MB        ; max main logfile bytes b4 rotation; default 50MB
    logfile_backups=10           ; # of main logfile backups; 0 means none, default 10
    loglevel=info                ; log level; default info; others: debug,warn,trace
    pidfile=/tmp/supervisord.pid ; supervisord pidfile; default supervisord.pid
    nodaemon=false               ; start in foreground if true; default false
    silent=false                 ; no logs to stdout if true; default false
    minfds=1024                  ; min. avail startup file descriptors; default 1024
    minprocs=200                 ; min. avail process descriptors;default 200
    
    [rpcinterface:supervisor]
    supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
    
    [supervisorctl]
    serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL  for a unix socket
    
    [include]
    files = /etc/supervisor/conf.d/*conf

## 3.2 配置项目配置文件 ##

创建项目配置文件nlp.conf，内容如下

[group:tornadoes]
    programs=tornado-16018,tornado-16019
    
    [program:tornado-16018]
    directory=/home/XXX/PycharmProjects/NLPXXX_build/main ; 程序的启动目录
    command=python runServer.py --port=16018 ; 启动命令，可以看出与手动在命令行启动的命令是一样的
    autostart = true ; 在 supervisord 启动的时候也自动启动
    startsecs = 30 ; 启动 10 秒后没有异常退出，就当作已经正常启动了
    autorestart = true ; 程序异常退出后自动重启
    startretries = 3 ; 启动失败自动重试次数，默认是 3
    user = XXX ; 用哪个用户启动
    redirect_stderr=true ; 把 stderr 重定向到 stdout，默认 false
    stdout_logfile_maxbytes=50MB ; stdout 日志文件大小，默认 50MB
    stdout_logfile_backups=10 ; stdout 日志文件备份数
    ; stdout 日志文件，需要注意当指定目录不存在时无法正常启动，所以需要手动创建目录（supervisord 会自动创建日志文件）
    stdout_logfile=/home/XXX/PycharmProjects/log/tornado_16018.log
    
    [program:tornado-16019]
    directory=/home/XXX/PycharmProjects/NLPXXX/main ; 程序的启动目录
    command=python runServer.py --port=16018 ; 启动命令，可以看出与手动在命令行启动的命令是一样的
    autostart = true ; 在 supervisord 启动的时候也自动启动
    startsecs = 30 ; 启动 10 秒后没有异常退出，就当作已经正常启动了
    autorestart = true ; 程序异常退出后自动重启
    startretries = 3 ; 启动失败自动重试次数，默认是 3
    user = XXX ; 用哪个用户启动
    redirect_stderr=true ; 把 stderr 重定向到 stdout，默认 false
    stdout_logfile_maxbytes=50MB ; stdout 日志文件大小，默认 50MB
    stdout_logfile_backups=10 ; stdout 日志文件备份数
    ; stdout 日志文件，需要注意当指定目录不存在时无法正常启动，所以需要手动创建目录（supervisord 会自动创建日志文件）
    stdout_logfile=/home/damao/PycharmProjects/log/tornado_16019.log

然后将这个项目配置文件复制到 /etc/supervisor/conf.d/，这个路径是supervisord.conf文件中\[include\]下配置的路径

sudo mkdir /etc/supervisor/conf.d/
    sudo cp nlp.conf /etc/supervisor/conf.d/

# 4 启动 #

~$ supervisord

浏览器打开：127.0.0.1:9001，之后可以看到项目的进程，如下图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hb2Vyc29uZw_size_16_color_FFFFFF_t_70_pic_center]

# 5 常用命令 #

> 生成配置文件
> 
> echo\_supervisord\_conf > /etc/supervisord.conf
> 
> 启动服务
> 
> supervisord -c /etc/supervisord.conf
> 
> 停止服务
> 
> supervisorctl shutdown
> 
> 查看服务运行状态
> 
> supervisorctl status
> 
> 停止某个服务
> 
> supervisorctl stop groupname:pogramname  
> 例子： (supervisorctl stop tornadoes:tornado-16018)  
> 启动某个服务
> 
> supervisorctl start groupname:pogramname
> 
> 停止所有的服务
> 
> supervisorctl stop all
> 
> 载入最新的配置文件，停止原有进程并按新的配置启动、管理所有进程
> 
> supervisorctl reload
> 
> 根据最新的配置文件，启动新配置或有改动的进程，配置没有改动的进程不会受影响而重启
> 
> supervisorctl update

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hb2Vyc29uZw_size_16_color_FFFFFF_t_70_pic_center 1]

# 6 注意事项 #

– supervisor 比较适合监控业务应用，且只能监控前台程序，如果你的程序是以daemon的方式启动，那么执行：supervisor status 会提示：BACKOFF Exited too quickly (process log may have details)。

–注意设置环境变量：environment=A=”1″,B=”2″ ; process environment additions (def no adds)

# 7 可视化集群管理 #

Supervisor只能管理本机的进程，不能跨机管理，cesi可以解决该问题，cesi是一款Supervisor官网推荐的第三方开源集中管理工具

1.  下载cesi项目到本地cesi文件夹

$ mkdir ~/cesi
    $ cd ~/cesi
    
    $ # Download the project to ~/cesi directory 下载项目
    $ wget https://github.com/gamegos/cesi/releases/download/v2.7.1/cesi-extended.tar.gz -O cesi.tar.gz
    $ tar -xvf cesi.tar.gz

1.  创建python虚拟环境，可选

$ python3 -m venv venv
    $ source venv/bin/activate

1.  安装依赖包

联网安装命令：

cd cesi
    pip install  -r requirements.txt

离线安装命令：

cd cesi
    pip download -r requirements.txt -d ./requirement_packages
    pip install --no-index --find-links=./requirement_packages -r requirements.txt

1.  启动  
    python3 ./cesi/run.py --config-file ./defaults/cesi.conf.toml  
    启动前，cesi.conf.toml配置如下，必须修改正确，尤其是监控的supervisor节点信息

[cesi]
    # Database Uri
    database = "sqlite:///users.db"                         # Relative path
    activity_log = "activity.log"   # File path for CeSI logs
    admin_username = "admin"        # Username of admin user
    admin_password = "admin"        # Password of admin user
    
    # Default supervisord nodes
    [[nodes]]
    name = "nlp-server"
    environment = ""
    username = "user"
    password = "123456"
    host = "192.168.0.111"
    port = "9001"

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hb2Vyc29uZw_size_16_color_FFFFFF_t_70_pic_center 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hb2Vyc29uZw_size_16_color_FFFFFF_t_70_pic_center 3]  
5. supervisor 来管理启动 CeSi  
直接使用命令启动，关闭shell窗口时会结束进程。

[group:cesi]
    programs=cesi-5000
    [program:cesi-5000]
    command=python3 /home/XXX/cesi/cesi/run.py --config-file /home/XXX/cesi/defaults/cesi.conf.toml
    autostart=true
    startsecs=10
    starttries=3
    user=XXX
    priority=996
    redirect_stderr=false
    stdout_logfile=/home/XXX/PycharmProjects/log/cesi.log
    stderr_logfile=/home/XXX/PycharmProjects/log/cesi-err.log
    stopasgroup=false
    killasgroup=true

# 8 遗留问题 #

需不需要gunicorn管理tornado进程  
[Nginx代理tornado进程，能够利用多核CPU，提高吞吐量][Nginx_tornado_CPU]  
[supervisor 同时开启多个进程 numprocs > 1][supervisor _ numprocs _ 1]  
[Ubuntu 18.04 开机自启动supervisord][Ubuntu 18.04 _supervisord]，好像不成功，只能在/etc/rc.local文件中添加启动命令了。

# 9 参考 #

[使用Supervisor监控Tornado进程][Supervisor_Tornado]  
[Supervisor管理springboot应用][Supervisor_springboot]  
[使用supervisor管理springboot项目][supervisor_springboot]  
[记一次 Centos7 supervisor 配置管理 SpringBoot 进程][Centos7 supervisor _ SpringBoot]  
[linux(centos)下安装supervisor进程管理工具][linux_centos_supervisor]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hb2Vyc29uZw_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/8d6e9c9c22284bbe9a09b9c5f45c370d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hb2Vyc29uZw_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221120/1131fad5dbc746a9b4fc2f35231a4146.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hb2Vyc29uZw_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221120/48dfe0067d444a5e8b57e17f8e34c603.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hb2Vyc29uZw_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221120/1ee2c5772ee64b3b9a9338facb737d02.png
[Nginx_tornado_CPU]: https://www.freesion.com/article/352014760/
[supervisor _ numprocs _ 1]: https://blog.csdn.net/qq_37837134/article/details/90904669
[Ubuntu 18.04 _supervisord]: https://ii74.com/post/6486.html
[Supervisor_Tornado]: https://www.cnblogs.com/wendj/p/9883028.html
[Supervisor_springboot]: https://blog.csdn.net/holmes369/article/details/104656107?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.edu_weight&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.edu_weight
[supervisor_springboot]: https://blog.csdn.net/not_say/article/details/105221819#t1
[Centos7 supervisor _ SpringBoot]: https://blog.csdn.net/llwy1428/article/details/105335972
[linux_centos_supervisor]: https://www.cnblogs.com/yunjiandubu/archive/2019/05/01/10801315.html