写这个系列之前，我已经写了四个系列：上下文工程、评测驱动开发、本地大模型部署、TypeScript Agent 开发。回头看，它们有一个从未被挑战过的共同前提——输入输出都是文本。Prompt 是文本，工具返回是文本，评测集是文本，上下文窗口里流动的还是文本。
2026 年，这个前提失效了。GPT-5、Claude、Gemini 3 都原生"看得见"图像，Gemini 3 连音频和视频也直接吃进去；生成侧，FLUX 3 把图像、视频、原生音频统一进了一个模型。模型 API 正从"文本进文本出"走向"any-to-any"，这块新地盘就是《多模态开发实战》系列——六大技术系列的第五个——要解锁的东西。本文先铺全景：演进脉络、三大云模型能力矩阵、开源生态定位、成本结构，最后给出 12 篇的路线图。
1、多模态格局演进
早几年的"多模态应用"本质是专用模型拼接：图像识别用 CLIP 或 OCR，语音用 Whisper 转文字，中间的 LLM 做纯文本推理，输出端再接 TTS 或扩散模型。管线上每个环节一个模型，误差逐级放大——ASR 把型号"X200"听成"X hundred"，后面的 LLM 只能在错误转写上自信地幻觉；延迟也逐级叠加，一轮"说一句、答一句"要串行过四个模型。工程侧则全是胶水代码：格式转换、重试、状态对齐，每一项都是维护负担。
两个时代的架构差异示意如下：
拼接与统一的差别，不是"少调两次 API"那么简单，而是模型在注意力层面同时看到像素与文字，即所谓原生多模态（natively multimodal）。对开发者最直接的变化：视觉能力不再是外挂服务，而是与文本共用同一个接口、同一个上下文窗口、同一套流式协议。
理解侧已经统一，生成侧正在收敛：图像生成各家仍走专用产品线（GPT-Image、Gemini 图像模型，企业侧另有 Imagen），而 BFL 官方博客披露的 FLUX 3 已把图像生成、最长 20 秒带原生音频的视频、多镜头组织塞进一个统一模型。理解与生成的分界正在被同一个词改写：any-to-any。
2、三大云模型能力矩阵
先给结论：理解侧 Gemini 3 模态最全，工程侧三家各有取舍。以下矩阵按 2026 年 10 月各家官方文档与定价页核实。
输入能力对比如下：
| 输入模态 | GPT-5 | Claude | Gemini 3 |
|---|---|---|---|
| 图像 | 原生支持 | 原生支持 | 原生支持 |
| 音频 | 不支持（走 Realtime 系） | 不支持 | 原生支持 |
| 视频 | 不支持（需自行抽帧） | 不支持 | 原生支持 |
| 支持（Files 接口） | 原生支持 | 原生支持 |
输出能力对比如下：
| 输出模态 | OpenAI | Anthropic | |
|---|---|---|---|
| 文本 | GPT-5 全系 | Claude 全系 | Gemini 3 全系 |
| 图像生成 | GPT-Image（按图像 token 计价） | 无官方产品 | Gemini 图像模型（$30/百万 token） |
| 语音输出 | Realtime 系与音频模型 | 无官方 TTS | 原生 TTS 与实时语音 |
三家的一句话画像：GPT-5（2025 年 8 月发布，400K 上下文，挂牌 $1.25/$10 每百万 token，还有约 $0.05/$0.40 的 Nano 档适合批量图像分类）视觉原生、音频与图像生成拆到专用模型；Claude 图像与 PDF 输入做得最深，还提供坐标系与 bounding box 支持，但没有原生音频，TTS 与图像生成需第三方补位；Gemini 3 是唯一全模态输入的（Pro 档 1M 上下文，$2/$12 每百万 token，超 200K 上下文涨到 $4/$18），并且能直接输出图像。价格随版本变动，落地前以各家定价页为准。
选型上还有两个工程细节值得记：一是 GPT 系图像输入带 detail 参数，低清档能把单图开销压到固定小几十 token，适合"只要大致内容"的场景；二是 Claude 的坐标输出让"看图 → 定位 → 操作"的自动化闭环不需要自己再接一个检测模型，这对 UI 自动化是实质性红利。
多模态输入在 API 层长什么样？以 Claude 的 Python SDK 为例，图像与文本共用同一个 messages 接口：
import base64
import anthropic
client = anthropic.Anthropic()
img = base64.b64encode(open("screenshot.png", "rb").read()).decode()
resp = client.messages.create(
model="claude-sonnet-5",
max_tokens=1024,
messages=[{
"role": "user",
"content": [
{"type": "image", "source": { # 图像块：base64 直传
"type": "base64",
"media_type": "image/png",
"data": img}},
{"type": "text", "text": "这个登录页哪里可能让用户流失？"},
],
}],
)
print(resp.content[0].text)
注意 content 是一个列表，图像块与文本块平级排列——多模态输入在协议上就是"一条消息携带多个内容块"，GPT-5 与 Gemini 3 的写法几乎同构。这正是统一架构给开发者的红利：接入成本从"对接三个服务"降到"多传一个字段"。
3、开源多模态生态
云模型之外，开源侧两条线各自成熟，一句话即可定位。
理解侧（VLM）：
- Qwen-VL 仓库：Apache 2.0 开放权重，OCR 与 UI 理解开源第一梯队
- Llama 官网：原生多模态开放权重，推理引擎生态兼容最好
- Whisper：开源 ASR 的事实标准，本系列第 8 篇主角
生成侧：
- FLUX 系：开源图像生成标杆，FLUX 3 统一图像与原生音视频
展开一句：Qwen3-VL 的强项在文档理解、截图理解这类工程刚需场景；Llama 4 的 Scout/Maverick 两档覆盖轻量与高配，vLLM 等引擎开箱即用；FLUX 3 则支持最长 20 秒带原生音频的视频与多镜头组织，把开源生成的上限拉到了与云服务对位的高度。
给个小结论：理解选 Qwen3-VL，生成选 FLUX，语音选 Whisper——开源三件套能拼出一条完全不依赖云厂商的多模态管线，这也是本系列第 10 篇要展开的部署实战。至于"开源还是云"的取舍，判断标准与前四系列一脉相承：数据出域合规要求高、调用量大且延迟不敏感，选开源自部署；追求最强效果与最短接入路径，选云 API。
4、Agent 的新画布
已发的 Agent 系列在收官处预览过"看得见、听得见、画得出"的前沿形态；本系列的任务是把这些形态逐个落到工程侧。对 Agent 开发者，多模态改变的是输入输出的边界：
- 看得见：UI 自动化 Agent 直接吃截图定位控件，不再依赖残缺的 DOM 快照
- 听得见：语音入口从"录音、转写、推理、合成"四跳变 Realtime 一跳
- 画得出：数据分析 Agent 输出图像化图表而非 Markdown 表格，报告闭环
- 读文档：合同、发票、论文扫描件不再依赖前置 OCR，直接整页进模型
更有意思的是它如何反哺前四个系列的方法论：
- 上下文工程：一张截图动辄上千 token，是上下文里最贵的内容块，图像的裁剪与压缩从可选变必选
- 评测驱动开发：多模态应用的黄金集必须包含真实截图与音频，断言从字符串匹配升级为结构化比对
- 本地部署：VLM 的显存估算与量化方案是新的容量规划课题
- TS Agent 开发：多模态消息类型与图像生成工具，是 Mastra 这类框架正在补齐的一块
一句话总结：前四系列的方法论全部成立，只是"文本"两个字要替换成"内容块"。
5、多模态成本直觉
多模态的账单结构比纯文本复杂得多：图像按尺寸、语音按秒、视频按帧。先建立直觉，再动手。
5.1、图像按尺寸计费
Claude 的图像 token 公式来自官方视觉文档：token ≈ 宽 × 高 / 750，最长边超过 1568 px 会先等比缩小。
def claude_image_tokens(w: int, h: int) -> int:
long_edge = max(w, h)
if long_edge > 1568: # 超限先等比缩放
scale = 1568 / long_edge
w, h = int(w * scale), int(h * scale)
return (w * h) // 750 # 官方公式
print(claude_image_tokens(1092, 1092)) # ≈ 1591：一张截图约 1600 token
print(claude_image_tokens(800, 600)) # = 640：小图便宜得多
一张 1092×1092 的截图约 1600 token，抵得上正文好几段文字。Gemini 3 的口径更简单，每张输入图折算约 560 token，小图大图同价；GPT 系按尺寸分档折算，细节见 OpenAI 定价页。直觉就一句：能裁剪就别发全屏，能缩放就别发原尺寸。
5.2、语音视频计费
语音的计价单位是音频 token 或秒。OpenAI Realtime（gpt-realtime-2.1）音频输入 $32/百万、输出 $64/百万 token，mini 档降到 $10/$20，音频输入另有约 $0.40/百万的缓存价——固定欢迎语、系统提示这类高频音频前置内容值得专门吃缓存；Gemini 3 Pro 音频输入约 $3.25/百万 token，折合约 $0.00008/秒，口径见 Gemini API 定价。第三方实测 Realtime 全链路每分钟约 $0.02～$0.11，比早期版本已大幅下降。
视频按帧折算：Gemini 默认每秒采 1 帧、每帧按图像 token 计费，一段 1 分钟视频约等于 60 张图的 token。生成侧同样不便宜：Gemini 图像输出 $30/百万 token，1K～2K 分辨率一张约 $0.134；GPT-Image 同样按图像 token 计价。
警告：语音对话是同内容文本对话成本的十倍量级，视频理解又是图像的几十倍。多模态功能上线前，先拿真实素材跑一遍成本估算，再设用量上限——这条纪律本系列会反复强调。
6、系列路线图
本系列共 12 篇，每篇可独立阅读，串起来是一条从理解到生成、从云 API 到开源部署的完整工程路径：
- 多模态全景：统一架构时代的输入输出（本篇）
- 视觉理解（上）：图像输入与结构化提取
- 视觉理解（下）：文档、图表与 UI 截图实战
- 视频理解：帧采样与时间推理
- 图像生成（上）：GPT-Image、Gemini 与 FLUX API
- 图像生成（下）：提示词、编辑与批量生产
- 语音合成 TTS：云 API 与开源方案
- 语音识别 ASR：Whisper 与流式识别
- 实时语音：全双工对话 Agent
- 开源 VLM 部署：Qwen3-VL 与 Llama 视觉系
- 多模态 Agent：组合输入输出的工作流
- 总结：成本、延迟与场景决策
7、总结
回顾全文：多模态已从专用模型拼接演进到统一架构，三大云模型理解侧全部原生视觉、Gemini 3 独享原生音频视频输入，生成侧各有产品线且 FLUX 3 正在统一图像视频音频；开源三件套（Qwen3-VL、FLUX、Whisper）足以拼出独立管线；成本结构从"按 token"细化为"按尺寸、按秒、按帧"，易超支是新人的头号坑。
行动建议给三条：
- 还没碰过多模态输入的，今天就拿现有模型的 SDK 发一张截图，十行代码就能跑通
- 已有 Agent 服务的，盘点哪些"文本化丢信息"的环节（UI 快照、语音工单、扫描件）可以换回原始模态
- 成本敏感的业务，立项前先做素材预算表：多少张截图、多少分钟语音、多少段视频
对于接下来的 11 篇，建议按需跳读：做文档处理从第 2 篇进，做语音交互从第 7 篇进；想全栈打通的读者，第 11 篇的多模态 Agent 见。
