使用supervisor后台运行celery

本地使用celery测试的时候我们可以直接在不同的终端直接运行 Celery 进程,但是如果要在服务器上运行,那我们岂不是得开好几个终端?而且退出终端之后 Celery 进程也就停止了,能不能让 Celery 在后台以守护进程的方式运行呢?答案是肯定的,今天我们先介绍用 supervisor 使celery在后台运行

一、先安装supervisor

1、安装命令:

pip install supervisor

如果在沙盒环境下安装不上的话使用:

apt-get install supervisor

二、安装celery

pip install celery

三、对supervisor进行配置

  1. 在这里你也可以自定义默认配置文件生成的位置,前提是你要放置配置文件的目录已经存在。然后将默认配置文件放到这个文件夹里面。
echo_supervisord_conf > /etc/supervisor/supervisord.conf
  1. 修改配置文件
vim /etc/supercisor/supervisord.conf

在最后一行添加files = /etc/supervisor/supervisord.conf.d/*.conf

[include]
;files = /etc/supervisor/conf.d/*.conf
files = /etc/supervisor/supervisord.conf.d/*.conf

然后进入supervisord.conf.d文件夹,创建celery_worker.conf文件并进行如下配置:

[program:celeryworker]  # 这个是进程的名字,随意起
command=celery -A bookstore worker -l info  # 要运行的命令
directory=/home/fhx/git_test1/bookstore  # 运行命令的目录
numprocs=1
# 设置log的路径
stdout_logfile=/var/log/supervisor/celeryworker.log
stderr_logfile=/var/log/supervisor/celeryworker.log
autorestart=true ; 程序意外退出是否自动重启
autostart=true ; 是否自动启动
stderr_logfile=/var/log/ProjectName.err.log ; 错误日志文件
stdout_logfile=/var/log/ProjectName.out.log ; 输出日志文件
environment=ASPNETCORE_ENVIRONMENT=Production ; 进程环境变量
user=root ; 进程执行的用户身份
stopsignal=INT
startsecs=1 ; 自动重启间隔 
stopwaitsecs = 600
priority=15
  1. 使用我们修改的配置文件启动supervisor
supervisord -c /etc/supervisor/supervisord.conf

如果遇到报错信息为端口正在被占用的话运行下面的命令

unlink /var/run/supervisor.sock
# 或者
unlink /tmp/supervisor.sock

之后再运行上面的启动supervisor命令

  1. supervisorctl 命令来看我们supervisor的运行状态 supervisorctl的使用就不在赘述了只说几条简单的命令:
status       # 查看状态
reread       # 读取配置信息
update       # 加载最新的进程
stop         # 停止进程
start        # 启动进程
reload       # 重新加载配置

四、注意事项

运行一段时间之后,可能会出现如下报错

unix:///tmp/supervisor.sock no such file

但是部署的网站上去测试发现celery并没有挂,以下是网上的说法:

在supervisor默认配置中,其启动的sock等都会放到tmp目录,而tmp目录会自动清理导致无法使用supervisorctl命令。 此时:修改supervisor.conf文件,修改到/var/run/及/var/log/目录,具体配置就不进行贴了,简单直接搜索tmp进行修改即可。重启supervisor服务,记得kill原来服务。或者进入supervisorctl尝试运行reload,看是否生效。

推荐链接:
https://www.jianshu.com/p/222d85c3833e