发邮件、转码视频、跑报表、调第三方慢接口——这些活儿不该堵在 Web 请求里。Celery 是 Python 世界解决这个问题的标准答案:一个基于分布式消息传递的异步任务队列框架,采用 BSD-3 协议开源,在 GitHub 有约 25k Star,仓库地址为 celery/celery。本文从架构原理讲起,覆盖快速上手、常用任务模式、定时调度,最后给出可靠性实践与选型建议。
1、项目概述
Celery 的架构由三部分组成:生产者(你的 Web 应用)把任务消息丢给消息代理(broker),worker 进程从代理取消息执行,结果可以写回结果后端(backend)。这种解耦让任务执行与请求响应彻底分离,任务可以在单机多进程跑,也可以分布在几十台机器上横向扩展。
官方 README 总结的特性:
- 简单易用,无需配置文件即可启动
- 高可用,worker 与客户端在连接失败时自动重试
- 高性能,单进程每分钟可处理数百万任务
- 灵活可扩展,几乎每个组件都可定制
安装与 broker 选型:
pip install -U Celery
pip install "celery[redis]"
broker 支持 RabbitMQ、Redis、Amazon SQS 等;结果后端支持 Redis、Memcached、SQLAlchemy、Django ORM 等。绝大多数团队用 Redis 一件套(既当 broker 又当 backend),中型以上规模或对消息可靠性要求极高时选 RabbitMQ。当前 Celery 5.x 需要 Python 3.9 以上。
2、快速上手
README 的官方最小示例:
from celery import Celery
app = Celery('hello', broker='amqp://guest@localhost//')
@app.task
def hello():
return 'hello world'
两行核心代码:Celery() 创建应用实例并指定 broker 地址,@app.task 把普通函数注册为可异步执行的任务。真实项目里通常把 Celery 实例放在 celery_app.py,业务任务按模块拆分,并用 include 参数自动发现:
app = Celery(
"myproject",
broker="redis://localhost:6379/0",
include=["myproject.tasks"],
)
启动 worker 后即可派发任务:
celery -A myproject.celery_app worker --loglevel=info
在业务代码里调用 hello.delay() 就把任务异步发出去了,delay() 是 apply_async() 的快捷形式,后者可以指定队列、过期时间、重试策略等参数。调用会返回一个 AsyncResult 句柄,用它能在结果后端查询任务状态与返回值。
3、任务调度与定时
Celery Beat 是内置的定时调度器,把周期任务的配置写在代码里:
app.conf.beat_schedule = {
"cleanup-every-night": {
"task": "myproject.tasks.cleanup",
"schedule": 3600.0,
"args": (),
},
}
schedule 支持 crontab(minute=0, hour=3) 这样的类 cron 表达式,也支持 timedelta 间隔。启动 celery -A myproject beat 后调度器会按点把任务丢进队列。注意 Beat 默认基于本地文件记录上次执行时间,多实例部署会重复触发,分布式场景要用 RedBeat 或数据库调度器加锁。更复杂的动态定时需求(用户自定义的提醒)则建议用 Django Celery Beat 把调度配置落到数据库。
4、可靠性实践
分布式任务的核心难题是"任务到底执行了没有"。Celery 给出的工具箱:
acks_late=True:worker 执行完才确认消息,进程崩溃时任务会被重新投递autoretry_for=(NetworkError,):指定异常自动重试,配retry_backoff=True指数退避task_time_limit与task_soft_time_limit:硬杀与软超时,防止任务卡死expires参数:任务过期直接丢弃,避免堆积的过期任务雪崩
任务必须幂等,因为重试意味着同一段代码可能执行多次。落库类操作用 update_or_create,外部调用先查是否已完成。监控方面,Flower 是官方系的实时监控面板,可以看到各队列的吞吐、失败率与 worker 状态;生产环境还应该给失败任务配置告警通知。
5、常见陷阱与替代方案
踩过最多的坑有几个:默认序列化从 JSON 换掉后出现奇怪的反序列化错误,坚持 JSON 即可;把 ORM 对象直接当任务参数传,序列化失败或数据过期,改为传 ID 再查询;忘了启动 Beat 导致定时任务全部不跑;worker 并发模型选错——默认 prefork 适合 CPU 任务,I/O 密集可换 gevent 池(-P gevent)把并发量开到数百。
替代方案对比:
- RQ:极简 Redis 队列,小项目够用,功能远少于 Celery
- Dramatiq:设计更现代,默认可靠,迁移成本低
- arq:基于 asyncio,适合原生异步代码库
Celery 的优势在成熟度与生态:文档、监控、调度、重试一应俱全,遇到问题几乎都能搜到答案。
6、总结
Celery 用消息代理把"慢活儿"从请求路径上剥离,历经十余年迭代依然是 Python 分布式任务的标准答案,配套的 Beat、Flower、重试体系覆盖了绝大多数异步场景。对于 Django、FastAPI 项目的邮件、报表、批处理需求,建议引入 Celery 加 Redis 组合并从第一天就配置好 acks_late 与自动重试;对于轻量或全异步的新项目,建议评估 Dramatiq 与 arq 降低运维复杂度。深入学习推荐官方文档,其最佳实践章节(Best Practices)尤其值得一读。


