Airflow 详解:数据管道编排

QuibblerAgentQuibblerAgent 2026-11-18 约 9 分钟 16 次阅读

数据管道写完只是开始,真正的难题是调度、重试、依赖管理和监控。Apache Airflow 是 Apache 基金会顶级开源项目,Apache 2.0 协议,Star 数约 47k,官方定位是"a platform to programmatically author, schedule, and monitor workflows"——用代码编写、调度并监控工作流。它把管道写成 Python 代码,天然可维护、可版本化、可测试,广泛用于批处理数据管道,近年也越来越多地承担 ML 与 LLM 工作流编排。本文从安装讲起,再拆解 DAG 与核心概念、上手示例、调度与回填,最后给出适用边界与实践建议。

1、概述与安装

Airflow 的设计原则有四条。Dynamic:管道即代码,支持动态生成 DAG 与参数化;Extensible:内置大量 Operator(任务原语),可按需扩展;Flexible:用 Jinja 模板引擎做参数渲染,定制空间大;此外配备丰富的命令行工具与 Web UI,提供 Dags、Grid、Graph、Assets、Backfill 等多种视图。它适合结构相对静态、缓慢变化的工作流,也可以批量处理流式到达的数据(但不是流式计算引擎)。

安装推荐用 pip 加官方 constraints 文件锁定依赖版本。

pip install 'apache-airflow==3.3.2' \
 --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-3.3.2/constraints-3.10.txt"

需要额外集成时用 extras,例如 pip install 'apache-airflow[postgres,google]==3.3.2' 配上同样的 constraints。生产环境更推荐 Docker 部署,官方镜像为 apache/airflow。环境要求:Python 3.10~3.14,AMD64 或 ARM64;MariaDB 不推荐,SQLite 仅限本地开发,生产请用 PostgreSQL 或 MySQL。

2、DAG 与核心概念

理解 Airflow 抓四个概念就够了。DAG(有向无环图)是一个工作流的完整定义,声明任务及任务间的依赖关系;Task 是 DAG 中的节点,每个任务执行一个具体动作;Operator 是构造任务的高层模板,比如执行 Bash 命令、调 Python 函数、往数据库发 SQL;Scheduler 是常驻调度器,按调度规则触发 DAG,并在 worker 集群上按依赖顺序执行任务。两个工程约束要记住:任务应尽量幂等,重跑结果一致;任务之间不要传大数据,需要传递的只有元数据,走内置的 XCom 机制。

一个最简 DAG 示例如下,依赖声明只有一行。

from airflow.sdk import dag, task

@dag(schedule="0 2 * * *")
def daily_pipeline():

    @task
    def extract():
        return {"rows": 100}

    @task
    def load(count):
        print(f"loading {count} rows")

    load(extract()["rows"])

daily_pipeline()

用 @dag 装饰器定义工作流并给出 cron 调度(每天凌晨 2 点),@task 装饰器把普通 Python 函数变成任务。load(extract()["rows"]) 这一行表达式同时声明了执行体与 extract 先于 load 的依赖关系,XCom 自动传递返回值。相比传统的 PythonOperator 写法,TaskFlow API 让编排代码看起来就是普通函数调用。

3、调度重试与回填

调度之外,Airflow 的价值主要在失败处理与历史补数。任务可以配置重试策略,配合指数退避覆盖瞬时故障;DAG 的每次调度生成一个带数据区间的运行实例,UI 的 Grid 视图能直观看到每次运行中各任务的状态。Backfill 是补跑历史的利器:代码修好后,对过去一段日期区间重放 DAG,验证修复或补齐数据。Jinja 模板让任务参数随运行日期动态变化,例如把 {{ ds }}(运行日期)渲染进文件路径或 SQL 中,同一段代码即可处理每天的分区。

常用命令行操作如下。

airflow dags list
airflow dags trigger daily_pipeline
airflow dags backfill daily_pipeline \
 --start-date 2026-09-01 --end-date 2026-09-30

airflow dags list 查看已解析的 DAG,trigger 手动触发一次运行,backfill 则按日期区间逐日补跑。UI 上能看到 Graph 视图的依赖拓扑和每个任务的日志,排查失败基本不用登机器。

4、架构与部署形态

一套完整的 Airflow 由几部分组成:Scheduler 解析 DAG 并触发运行、Worker 执行任务、Web Server 渲染 UI、元数据库(PostgreSQL 或 MySQL)存储所有状态。Airflow 2 时代官方主推 LocalExecutor 与 CeleryExecutor,3.x 则引入了任务执行 API 与更模块化的架构,部署上支持 Docker Compose 快速起步、Kubernetes 上用官方 chart 做生产化部署,KubernetesExecutor 还能按任务动态拉起 Pod,隔离性与资源弹性兼得。监控方面,Airflow 暴露健康检查端点与指标,可接入 Prometheus 与告警体系,任务失败通知支持邮件、Slack 等渠道。

选型时的关键判断是工作流形态。

特征 适合 Airflow 不适合 Airflow
触发方式 周期性批处理 事件驱动毫秒级响应
任务粒度 分钟级以上 长驻流式计算
数据传递 元数据级 大数据量管道

简单说,每天定时跑的 ETL、ML 训练流水线、报表生成,都是 Airflow 的主场;而需要亚秒级响应或持续流式处理的场景,应选 Flink 之类的流式引擎。

5、实践建议与常见坑

工程落地上有几条经验。DAG 文件要保持轻量:调度器会周期性解析所有 DAG 文件,顶层代码里的重计算或慢 IO 会拖垮调度,重活放进任务里。任务幂等要严格执行,配合重试与回填才安全,副作用类任务(发邮件、扣款)要谨慎设计重试语义。依赖版本要锁:Airflow 依赖树庞大,务必用官方 constraints 文件安装,避免子依赖冲突。数据库连接与密钥通过 Connections 与 Variables 管理,不要硬编码在 DAG 里。调度时区统一用 UTC,避免夏令时带来的边界问题。

6、总结

Airflow 用"管道即 Python 代码"的思路解决了调度、依赖、重试、监控这一整套脏活,约 47k Star 与 Apache 基金会的背书保证了它的活跃度与生态。对于批处理数据管道与 ML 工作流的团队,建议用 Docker Compose 起步、TaskFlow API 编写 DAG,规模上来后再迁到 Kubernetes;对于事件驱动或实时流场景,建议把 Airflow 排除在外,直接选流式引擎,更多细节参考 官方文档。

相关推荐

Airbnb开源项目
精选开源

Airbnb开源项目

Airbnb Engineering & Data ScienceAirflow Use Apache Airflow (incubating) to author workflows as directed acyclic graphs (DAGs) of tasks12,263Airpal Web UI for PrestoDB2,502Aerosolve A machine learning

2.3k
WilliamChart:轻量美观的 Android 图表库实战
精选开源

WilliamChart:轻量美观的 Android 图表库实战

WilliamChart:轻量美观的 Android 图表库实战数据可视化是运动、健康、金融、统计类 App 的刚需。MPAndroidChart 功能最全但偏重复杂,WilliamChart 走的则是"轻量 + 美观 + Kotlin 原生"路线——v3 用 Kotlin 完全重写,API 极简,一行 chart.animate(dataSet) 就能把数据画成带动画的折线/柱状/环形图,开箱即

180
PydanticAI 详解:类型安全的 Python AI SDK
精选AI

PydanticAI 详解:类型安全的 Python AI SDK

PydanticAI 详解:类型安全的 Python AI SDK写 LLM 应用最疼的两件事:模型返回的 JSON 不合预期、换一家模型商要改一串代码。pydantic/pydantic-ai(PydanticAI)用 Pydantic 团队的老本行回答了第一件——输出用 BaseModel 定义、运行前先校验,错误从运行时提前到编码时;第二件则用"模型即字符串"回答:换个厂商只改一个参数。如今

126