数据管道写完只是开始,真正的难题是调度、重试、依赖管理和监控。Apache Airflow 是 Apache 基金会顶级开源项目,Apache 2.0 协议,Star 数约 47k,官方定位是"a platform to programmatically author, schedule, and monitor workflows"——用代码编写、调度并监控工作流。它把管道写成 Python 代码,天然可维护、可版本化、可测试,广泛用于批处理数据管道,近年也越来越多地承担 ML 与 LLM 工作流编排。本文从安装讲起,再拆解 DAG 与核心概念、上手示例、调度与回填,最后给出适用边界与实践建议。
1、概述与安装
Airflow 的设计原则有四条。Dynamic:管道即代码,支持动态生成 DAG 与参数化;Extensible:内置大量 Operator(任务原语),可按需扩展;Flexible:用 Jinja 模板引擎做参数渲染,定制空间大;此外配备丰富的命令行工具与 Web UI,提供 Dags、Grid、Graph、Assets、Backfill 等多种视图。它适合结构相对静态、缓慢变化的工作流,也可以批量处理流式到达的数据(但不是流式计算引擎)。
安装推荐用 pip 加官方 constraints 文件锁定依赖版本。
pip install 'apache-airflow==3.3.2' \
--constraint "https://raw.githubusercontent.com/apache/airflow/constraints-3.3.2/constraints-3.10.txt"
需要额外集成时用 extras,例如 pip install 'apache-airflow[postgres,google]==3.3.2' 配上同样的 constraints。生产环境更推荐 Docker 部署,官方镜像为 apache/airflow。环境要求:Python 3.10~3.14,AMD64 或 ARM64;MariaDB 不推荐,SQLite 仅限本地开发,生产请用 PostgreSQL 或 MySQL。
2、DAG 与核心概念
理解 Airflow 抓四个概念就够了。DAG(有向无环图)是一个工作流的完整定义,声明任务及任务间的依赖关系;Task 是 DAG 中的节点,每个任务执行一个具体动作;Operator 是构造任务的高层模板,比如执行 Bash 命令、调 Python 函数、往数据库发 SQL;Scheduler 是常驻调度器,按调度规则触发 DAG,并在 worker 集群上按依赖顺序执行任务。两个工程约束要记住:任务应尽量幂等,重跑结果一致;任务之间不要传大数据,需要传递的只有元数据,走内置的 XCom 机制。
一个最简 DAG 示例如下,依赖声明只有一行。
from airflow.sdk import dag, task
@dag(schedule="0 2 * * *")
def daily_pipeline():
@task
def extract():
return {"rows": 100}
@task
def load(count):
print(f"loading {count} rows")
load(extract()["rows"])
daily_pipeline()
用 @dag 装饰器定义工作流并给出 cron 调度(每天凌晨 2 点),@task 装饰器把普通 Python 函数变成任务。load(extract()["rows"]) 这一行表达式同时声明了执行体与 extract 先于 load 的依赖关系,XCom 自动传递返回值。相比传统的 PythonOperator 写法,TaskFlow API 让编排代码看起来就是普通函数调用。
3、调度重试与回填
调度之外,Airflow 的价值主要在失败处理与历史补数。任务可以配置重试策略,配合指数退避覆盖瞬时故障;DAG 的每次调度生成一个带数据区间的运行实例,UI 的 Grid 视图能直观看到每次运行中各任务的状态。Backfill 是补跑历史的利器:代码修好后,对过去一段日期区间重放 DAG,验证修复或补齐数据。Jinja 模板让任务参数随运行日期动态变化,例如把 {{ ds }}(运行日期)渲染进文件路径或 SQL 中,同一段代码即可处理每天的分区。
常用命令行操作如下。
airflow dags list
airflow dags trigger daily_pipeline
airflow dags backfill daily_pipeline \
--start-date 2026-09-01 --end-date 2026-09-30
airflow dags list 查看已解析的 DAG,trigger 手动触发一次运行,backfill 则按日期区间逐日补跑。UI 上能看到 Graph 视图的依赖拓扑和每个任务的日志,排查失败基本不用登机器。
4、架构与部署形态
一套完整的 Airflow 由几部分组成:Scheduler 解析 DAG 并触发运行、Worker 执行任务、Web Server 渲染 UI、元数据库(PostgreSQL 或 MySQL)存储所有状态。Airflow 2 时代官方主推 LocalExecutor 与 CeleryExecutor,3.x 则引入了任务执行 API 与更模块化的架构,部署上支持 Docker Compose 快速起步、Kubernetes 上用官方 chart 做生产化部署,KubernetesExecutor 还能按任务动态拉起 Pod,隔离性与资源弹性兼得。监控方面,Airflow 暴露健康检查端点与指标,可接入 Prometheus 与告警体系,任务失败通知支持邮件、Slack 等渠道。
选型时的关键判断是工作流形态。
| 特征 | 适合 Airflow | 不适合 Airflow |
|---|---|---|
| 触发方式 | 周期性批处理 | 事件驱动毫秒级响应 |
| 任务粒度 | 分钟级以上 | 长驻流式计算 |
| 数据传递 | 元数据级 | 大数据量管道 |
简单说,每天定时跑的 ETL、ML 训练流水线、报表生成,都是 Airflow 的主场;而需要亚秒级响应或持续流式处理的场景,应选 Flink 之类的流式引擎。
5、实践建议与常见坑
工程落地上有几条经验。DAG 文件要保持轻量:调度器会周期性解析所有 DAG 文件,顶层代码里的重计算或慢 IO 会拖垮调度,重活放进任务里。任务幂等要严格执行,配合重试与回填才安全,副作用类任务(发邮件、扣款)要谨慎设计重试语义。依赖版本要锁:Airflow 依赖树庞大,务必用官方 constraints 文件安装,避免子依赖冲突。数据库连接与密钥通过 Connections 与 Variables 管理,不要硬编码在 DAG 里。调度时区统一用 UTC,避免夏令时带来的边界问题。
6、总结
Airflow 用"管道即 Python 代码"的思路解决了调度、依赖、重试、监控这一整套脏活,约 47k Star 与 Apache 基金会的背书保证了它的活跃度与生态。对于批处理数据管道与 ML 工作流的团队,建议用 Docker Compose 起步、TaskFlow API 编写 DAG,规模上来后再迁到 Kubernetes;对于事件驱动或实时流场景,建议把 Airflow 排除在外,直接选流式引擎,更多细节参考 官方文档。


