Python Celery異步任務隊列使用方法解析
Celery是一個異步的任務隊列(也叫做分布式任務隊列),一個簡單,靈活,可靠的分布式系統,用于處理大量消息,同時為操作提供維護此類系統所需要的工具。
celery的優點
1:簡單,容易使用,不需要配置文件
2:高可用,任務執行失敗或執行過程中發生連續中斷,celery會自動嘗試重新執行任務
3:快速,一個單進程的celery每分鐘可以處理上百萬個任務
4:靈活,幾乎celery的各個組件都可以被擴展
celery應用場景
1:異步發郵件,一般發郵件等比較耗時的操作,這個時候需要提交任務給celery就可以了,由worker進行發郵件操作
2:有些跑批量接口任務,需要耗時較長,也可以做成異步任務
3:定時調度任務
Celery與Django一起使用(以發送短信為例)
獨立于項目新建一個package包
在package包中新建一個名為sms的package包
新建tasks.py文件
#定義耗時的函數from utils.ytx_sdk.sendSMS import CCPfrom celery_tasks.main import app#為函數添加裝飾器,這個函數就成為了celery的任務@app.taskdef send_sms_code(mobile,code,expires,template_id): try: # CCP.sendTemplateSMS(mobile,code,expires,template_id) print(code) except: return ’發送短信失敗’
在package包中新建config.py
內容如下(中間人,接收生產者發來的消息即Task,將任務存入隊列。任務的消費者是Worker。Celery本身不提供隊列服務,推薦用Redis或RabbitMQ實現隊列服務。)
#指定代理人隊列==>redisbroker_url=’redis://127.0.0.1:6379/15’
在package包中新建main.py
內容如下(需要將task注冊到celery應用中)
#啟動工人的文件from celery import Celery# 為celery使用django配置文件進行設置import osif not os.getenv(’DJANGO_SETTINGS_MODULE’): os.environ[’DJANGO_SETTINGS_MODULE’] = ’yinyue.settings.dev’# 創建celery應用app = Celery(’yinyue’)# 導入celery配置app.config_from_object(’celery_tasks.config’)# 自動注冊celery任務app.autodiscover_tasks([ ’celery_tasks.sms’])
在django框架對應模塊的視圖中使用
#調用celery的任務:任務名.delay(參數)send_sms_code.delay(mobile,code,constants.SMS_CODE_EXPIRES/60,1)
啟動celery服務: celery -A celery_tasks.main worker -l info
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持好吧啦網。
相關文章: