Celery 和 RabbitMQ

小灰灰 2021-05-12 11:51 432阅读 0赞

**Celery**  
基于分布式消息的开源异步任务，工作队列。其侧重于实时操作，但也支持调度。在项目中，将一些无需即时返回且耗时的操作提取出来，进行了异步处理，而这种异步处理的方式大大的节省了服务器的请求响应时间，从而提高了系统的吞吐量。如统计，报表导出等。

**Celery的安装：**  
**pip install celery**  
![这里写图片描述][20150422000922217]

**Celery(djang-celery)在django中配置：**  
1、把djceley添加到INSTALLED\_APPS中  
2、在settings.py中添加下面内容(作用是初始化INSTALLED\_APPS 中App目录下的tasks.py文件)

import djcelery
    djcelery.setup_loader()
    BROKER_URL = 'django://'
    ...
    INSTALLED_APPS = (
      ...
      'djcelery',
      ...
    )

3、创建celery数据库表  
python manage.py syncdb  
4、配置celery代理（下面安装RabbitMQ时需要配置）  
BROKER\_HOST = “localhost” \# RabbitMQ服务器地址  
BROKER\_PORT = 5672 \# RabbitMQ服务器端口  
BROKER\_USER = “myuser” \# RabbitMQ配置中创建的用户  
BROKER\_PASSWORD = “mypassword” \# RabbitMQ配置中创建的用户密码  
BROKER\_VHOST = “/”  
5、运行celery工作服务  
python manage.py celeryd -l info  
队列有可能出现阻塞，卡死现象，这时，我们需要看下进程了。  
ps aux | grep celeryd  
真的有阻塞的话，只能杀进程了或重启了。  
ps x|grep celeryd|grep -v grep |awk ‘\{print $1\}’|xargs kill -9

**Celery的使用**  
在app中创建 tasks.py即可，一个例子

from celery.task import task
    
    @task 
    #@periodic_task(run_every=crontab(hour=3, minute=0))定时任务
    def add(x, y):
        return x + y

# 调用
    from app.tasks import add
    
    add.delay(10, 10)

**RabbitMQ**  
Celery支持的代理有RabbitMQ, Redis, Beanstalk, MongoDb, CouchDB, 也包括数据库，推荐使用RabbitMQ。其实这里可以把RabbitMQ看做是一个服务，一个类似于数据库的服务。

**RabbitMQ的安装：**  
sudo apt-get install rabbitmq-server  
![这里写图片描述][20150422005533880]  
默认会去安装依赖包的，比如erlang（二郎，哈哈）

**RabbitMQ的配置（在root权限执行）：**  
rabbitmqctl add\_user myuser mypassword  
rabbitmqctl add\_vhost myvhost  
rabbitmqctl set\_permissions -p myvhost myuser “.*” “.*” “.\*”  
![这里写图片描述][20150422010730445]

**RabbitMQ的使用：**  
具体使用参考Celery的使用。

RabbitMQ的[参考文档][Link 1]。

[20150422000922217]: /images/20210511/e7a4ecd59b9446cbbd4bb55818b72ce2.png
[20150422005533880]: /images/20210511/4f66b55aa18146e39e9bed311965a690.png
[20150422010730445]: /images/20210511/0f19b9c5b0fb4fae9b4877f3381dfa92.png
[Link 1]: http://www.rabbitmq.com/install-debian.html