python定时任务contrib_Django+Celery实现动态配置定时任务的方法示例

逃离我推掉我的手 2022-10-31 15:53 294阅读 0赞

哈喽，今天给大家分享一篇Django+Celery实现动态配置定时任务，因为最近也是无意间看到一位大佬关于这块的文章，然后自己觉得不错，也想学习写一下，然后最终实现功能是在前端页面统一管理计划任务，大家可以在admin管理页面设置，也可以在自己写的前端页面删除添加编辑，实时生效，还可以监控这些监控任务是否运行成功失败。

补充：如果大家对celery不熟悉的话，建议先学习celery

![202005260829491.png][]

一、安装

1.在Linux系统上安装模块

celery (3.1.26.post2)

celery-with-redis (3.0)

redis (2.10.6)

Django (2.1.10)

django-celery (3.3.1)

2.迁移生成表

python manage.py migrate

3.查看生成的表，这几张表是上面执行命令后生成的

![1cedb3c7e85fcbeeb5a0f16a42553727.png][]

二、配置

1.添加apps

INSTALLED\_APPS = \[

'django.contrib.admin',

'django.contrib.auth',

'django.contrib.contenttypes',

'django.contrib.sessions',

'django.contrib.messages',

'django.contrib.staticfiles',

'djcelery', \#这是要添加的

2.配置django时区

LANGUAGE\_CODE = 'en-us'

TIME\_ZONE = 'Asia/Shanghai'

USE\_I18N = True

USE\_L10N = True

USE\_TZ = False

3.Celery配置

BROKER\_URL = 'redis://localhost:6379' \#代理人

CELERY\_RESULT\_BACKEND = 'redis://localhost:6379' \#结果存储地址

CELERY\_ACCEPT\_CONTENT = \['application/json'\] \#指定任务接收的内容序列化类型

CELERY\_TASK\_SERIALIZER = 'json' \#任务序列化方式

CELERY\_RESULT\_SERIALIZER = 'json' \#任务结果序列化方式

CELERY\_TASK\_RESULT\_EXPIRES = 12 \* 30 \#超过时间

CELERY\_MESSAGE\_COMPRESSION = 'zlib' \#是否压缩

CELERYD\_CONCURRENCY = 4 \#并发数默认已CPU数量定

CELERYD\_PREFETCH\_MULTIPLIER = 4 \#celery worker 每次去redis取任务的数量

CELERYD\_MAX\_TASKS\_PER\_CHILD = 3 \#每个worker最多执行3个任务就摧毁，避免内存泄漏

CELERYD\_FORCE\_EXECV = True \#可以防止死锁

CELERY\_ENABLE\_UTC = False \#关闭时区

CELERYBEAT\_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler' \# 定时任务调度器

4.在你项目的app下面配置celery.py

import os

from celery import Celery,platforms

from django.conf import settings

os.environ.setdefault('DJANGO\_SETTINGS\_MODULE','blog.settings')

app = Celery('blog')

app.config\_from\_object('django.conf:settings')

app.autodiscover\_tasks(lambda: settings.INSTALLED\_APPS)

platforms.C\_FORCE\_ROOT = True

@app.task(bind=True)

def debug\_task(self):

print('Request: \{0!r\}'.format(self.request))

5.配置刚才app下面的\_\_init\_\_.py文件

from \_\_future\_\_ import absolute\_import

from .celery import app as celery\_app

6.在app下面创建一个tasks.py文件

from blog.celery import app

@app.task()

def get\_date(x,y,s):　　\#这里的函数留意一下，后面会用到

print(s)

return x + y

@app.task()

def get\_task():

return 'test'

@app.task()

def get\_command\_task():

return 'success'

三、启动

1.进入你项目下面，执行启动worker，Worker是执行任务的单元，它实时监控消息队列，如果有任务就获取任务并执行它。

celery -A autoops worker -l info

2.进入你项目下面，执行启动beat，beat是定时把这个任务扔到队列中

celery -A autoops beat -l info

3.启动你的django项目

python manage.py runserver 192.168.10.133:8001

4.页面展示

4.1这个是admin页面下的，然后我自己重新写了，大家也可以自己写一个，admin和我自己写的页面实现的功能其实是一模一样的。

![d632a9092c9fe3fe0583764fea83c540.png][]

4.2.对应admin页面的crontabs

![fb8129d76d24239a93828cc2b5d604e9.png][]

添加周期

![cd3f5d331b9deb3885e0eb676738169d.png][]

编辑修改周期

![66086a8cec17170603bba26fb66cdec0.png][]

5.tasks任务

5.1.大家可以看到我添加了一个名为测试的任务，每隔一分钟执行一次，任务模板其实就是你写的tasks文件里面函数

![f9a328d4c7c4a52c3a8701c18a478ace.png][]

![3a6b69b1a0a1bf7a2522223e3712cf1c.png][]

看一下worker进程日志输出

![202005260829499.png][]

四、监控计划任务

celery作为一个分布式异步任务队列管理工具，通过界面化的方式来进行管控任务的执行状态和查看任务执行结果

flower作为web页面来管理celery后台任务，和任务队列是隔离的，也就是flower的运行与否并不会影响到任务队列的真正执行，但是flower中可以通过API接口来管理celery中的任务执行。

4.1安装flower，监控celery计划任务

pip3 install flower==0.9.2 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

pip install tornado==5.1.1

celery flower -A blog --port=5555 \#进入项目目录启动flower

4.2打开浏览器，输入http://ip:5555 查看

![da2b2916f4c170a713114406a47ba919.png][]

Name: 表示该任务的名称，默认规则为该函数的路径规则，例如 \{模块名\}.\{文件名\}.\{函数名\}

UUID: 表示一个唯一字符串ID用于表示该任务

State: 表示该任务的状态，包括： SUCCESS / FAILURE / STARTED / RECEIVED

SUCCESS 表示该任务执行完毕且成功

FAILURE 表示该任务执行失败

STARTED 表示该任务正在执行

RECEIVED 表示该任务在worker中，只是被接收而已

args: 表示该任务的列表参数

kwargs: 表示该任务的字典参数

Result: 表示该任务函数的返回结果

Received: 表示该任务在worker接收到的时间

Started: 表示该任务在worker开始执行的时间

Runtime: 表示该任务在worker真正执行的耗时(单位：秒)

Worker: 表示该任务所在的worker名称

总结：django+celery实现的定时任务还是不错的，你可以在前端上查看管理所有定时任务，实时修改生效删除和禁用，所以有需求的话可以去试试。下次再分享啦

到此这篇关于Django+Celery实现动态配置定时任务的方法示例的文章就介绍到这了,更多相关Django Celery动态配置定时任务内容请搜索python博客以前的文章或继续浏览下面的相关文章希望大家以后多多支持python博客！

[202005260829491.png]: /images/20221024/bbb6655a814a42b2a323bba8a4c0f0d1.png
[1cedb3c7e85fcbeeb5a0f16a42553727.png]: /images/20221024/44c39d7bfc524a918ba6b54cf42ab75e.png
[d632a9092c9fe3fe0583764fea83c540.png]: /images/20221024/36a3e15e676e42e8a1cca01edea551a4.png
[fb8129d76d24239a93828cc2b5d604e9.png]: /images/20221024/d7c8a13fe69847b59b8a38009a1452ba.png
[cd3f5d331b9deb3885e0eb676738169d.png]: /images/20221024/bf433d841ff54f3594c2a04cc01daf98.png
[66086a8cec17170603bba26fb66cdec0.png]: /images/20221024/8aba9245e4ee4e23b9a330ac6af027b4.png
[f9a328d4c7c4a52c3a8701c18a478ace.png]: /images/20221024/69ce5eba76a94e158d5a7d27891147af.png
[3a6b69b1a0a1bf7a2522223e3712cf1c.png]: /images/20221024/1a01d98217ea4de08b71ba090678e796.png
[202005260829499.png]: /images/20221024/089677dbc4f743f9822371955fac6d5e.png
[da2b2916f4c170a713114406a47ba919.png]: /images/20221024/3d252c711c6e44708eab960428c93df8.png