多模态开发（12）：成本、延迟与场景决策

《多模态开发实战》走到第 12 篇，收官。前 11 篇把图、文、视频、音频的输入与输出逐个拆开讲透：看得见的视觉、画得出的生成、听与说的语音，最后总装成多模态 Agent。零件都造完了，这篇不做新零件，做决策——真实选型会上，问题从来不是"哪家模型强"，而是三个：输入是什么、要多快、预算多少。

本文把 11 篇里核实过的数字与结论收拢成几件决策工具：能力地图、成本总表、延迟分档、选型决策树，再补上组合范式、避坑清单与学习路线。系列内篇目一律以"第 N 篇"指代，发布后统一回填链接；计费数字均为 2026 年 10 月各家官方定价页口径。

1、系列全景与能力地图

回头看，11 篇恰好铺成一张三层地图：输入侧解决"内容怎么进模型"，输出侧解决"结果怎么从模型出来"，工程侧解决"部署与组装"。每一层的能力件都可以单独取用，也可以按第 11 篇的方式总装成完整产品。

读这张地图要带一个视角：单模态能力件已经趋同，组装方式才是产品差异所在。第 2 篇与第 10 篇反复验证过，各家视觉 API 的消息结构几乎同构，开源部署也逐字兼容；真正决定成败的是第 3、11 篇讲的管线设计——什么时候用哪个件、产物在哪里交接、上下文怎么治理。文本输入不需要专门能力件，它是所有管线的公共底座，但第 3 篇的反场景清单专门提醒过：文本层干净的文档，就别上视觉。

2、成本决策量级总表

多模态的账单结构比纯文本复杂一截：图像按尺寸、语音按秒、视频按帧、生成按张。先把系列里核实过的量级收进一张表，细节口径见各篇与 OpenAI 定价页、Gemini API 定价。

三个锚点数字值得背下来。第一，一张千像素截图约 1600 视觉 token，抵得上正文好几段；按 Anthropic 视觉文档每 28×28 像素记一个 token 的口径，日跑十万张截图就是每月几百美元（第 2 篇）。第二，语音对话是同内容文本的十倍量级，视频理解又是图像的几十倍（第 1 篇）。第三，单价的杠杆远小于档位与架构的杠杆：detail 低档能把单图开销压到约十分之一，图像生成两段式省约七倍，Realtime 音频缓存把重复前置内容压到 $0.40/百万 token（第 2、6、9 篇）。

多模态功能上线前，先拿真实素材跑一遍成本估算，再设用量上限——这条纪律系列第 1 篇立下，此处全文最后一次强调。

所以成本决策的正确顺序是：先估单次量级，再选档位与架构，最后才比单价。反过来做——先挑模型再看账单——是多模态项目超支的头号原因。

3、延迟三档与实时边界

延迟预算决定架构，架构再决定成本。系列里散落的延迟结论可以收成三档，每一档对应一类完全不同的工程选择。

判断标准只有一条：用户是否在线等。离线与近线场景占多模态需求的大多数——纪要、入库、批量生产全是它们，架构上怎么省钱怎么来，本地流水线的边际成本为零（第 8、10 篇）。唯一必须上实时通道的是交互式语音：人对话的换句间隔只有两三百毫秒，而 ASR、LLM、TTS 级联的固定开销合计 1～2.5 秒，撑不起对话体验，必须换端到端会话（第 9 篇）；需要电话线路与多厂商容灾时，再引入 pipecat 这类编排框架。

还有一条认知值得更新："实时必然贵一个数量级"在 2026 年不再成立。Gemini Live 付费层约 $0.023/分钟，已与级联三段打平，标准层免费额度做原型基本不花钱；OpenAI 侧 mini 档加音频缓存也是常规省钱位（第 9 篇）。实时的门槛从成本挪到了工程——打断三连、端点检测、会话治理才是真正的难点，这些第 9 篇都给过实现。

4、开源与闭源的决策线

系列用九篇跑云 API，第 10 篇把视觉搬回本地，中间的决策线画三条，每条都独立成立。

第一条是数据敏感。票据、病历、内网截图这类内容，出域的合规成本高于一切硬件成本：视觉走 Qwen3-VL 自部署，语音走 faster-whisper 与 CosyVoice，整条管线数据不出机器（第 8、10 篇）。

第二条是批量成本交叉点。闭源按 token 计费，量到一定程度，账单会超过一台 24 GB 卡的月折旧加电费：视觉的经验判断线在日均千张图（第 10 篇），TTS 在日百万字符级（第 7 篇），大量录音资产则本地流水线的边际成本为零（第 8 篇）。迁移成本也常被高估——开源 VLM 的消息结构与闭源 API 逐字兼容，换 base_url 与 model 两个字段即完成切换（第 10 篇）。

第三条是定制微调。开源权重是后训练系列的入场券：LoRA 能让 8B 模型在自家票据版式上追平闭源，线上跑挂的失败样本归档下来就是现成训练集（第 10 篇）。反过来，闭源的三种情形同样成立：要顶级图表推理与复杂版面理解，闭源旗舰仍领先一档；没有 GPU 运维能力，或流量峰谷剧烈时，API 的弹性更省心。

5、选型决策树

把前面四节收拢成一张三步决策树。顺序不可换：输入决定能力件，延迟决定架构，预算与合规决定厂商与档位。

拿两个例子走一遍。扫描件合同归档：Q1 是图像，Q2 用户不在线等，Q3 日量大——落到本地 VLM 加 SQLite 入库，正是第 10 篇实战的原样。电商语音客服：Q1 是音频要对话，Q2 首响 500 ms 内，Q3 中等预算——落到 Realtime 会话加函数调用与超时兜底，第 9 篇给了全套代码。三问走完，方案通常只剩一个，剩下的是执行。

6、组合范式与产品形态

第 11 篇给过总装的抽象，这里收成三句话。其一，多模态 Agent 与文本 Agent 的差别不在架构，而在消息与工具的模态类型：输入侧图像以图像块进消息让主模型自己看，工具侧封装取图、合成、生成三类动作，输出侧产物落盘、URL 回填。其二，工具返回面向模型，产物面向用户——生成类工具一律落盘出 URL，绝不把 base64 塞回工具结果。其三，能力件在消息边界上交接，换任何一个件只改一处函数，互不牵连。

落到产品上，系列里的实战反复收敛出三条形态。文档智能：第 3 篇的发票提取与第 10 篇的本地化是同一件事的两个阶段，叠上第 8 篇的说话人分离，合同、票据、会议三类资产就有了从扫描件到结构化数据的完整答案。内容生产：第 5、6 篇的两段式图像生产加第 7 篇的文章转播客，一篇文章同步产出封面、配图与音频版，是内容产能翻倍的最短路径。语音交互：第 9 篇的实时会话加第 11 篇的语音记账，语音入口从演示到生产的距离就在打断处理与工具兜底；涉及声音克隆时，授权与显著标识是法规红线而非建议（第 7 篇）。

三条形态还共用一条纪律：多模态产物必须有人审环节。生成图录用与否最终留给人（第 5 篇），票据金额越界转人工复核（第 10 篇），纪要待办逐条核时间轴（第 4 篇）——自动化的边界画在人审处，这是系列所有实战的共同收尾。

7、避坑清单

最后把 11 篇踩过的坑收成十条，每条一句话，出处篇号在括号里。

• 发图前不按 EXIF 方向烘焙，竖拍照片被当横图理解，文字全歪（第 2 篇）
• 生产留 detail: auto，同批图档位漂移，成本行为不可复现（第 2 篇）
• 拿视觉模型当测量仪，无标签柱状图估读误差一成是常态（第 3 篇）
• 视觉循环不治理图像历史，三轮整页截图吃掉半个上下文窗口（第 3、11 篇）
• 长视频逐帧全量发送，一小时数百万 token，贵且塞不进上下文（第 4 篇）
• 图像批量不写重试与 manifest，429 与 5xx 是常态（第 6 篇）
• 中文 TTS 不做数字与多音字预处理，年份与小数读法直接翻车（第 7 篇）
• 长录音不做 VAD 静音过滤，静音处冒出幻觉复读（第 8 篇）
• Realtime 会话的函数结果不回填，对话无声挂起（第 9 篇）
• vLLM 不压 max_pixels 就调多图上限，序列预留 20 万 token（第 10 篇）

8、总结

12 篇收束成三个问题：输入是什么，决定用哪个能力件；要多快，决定离线、近线还是实时的架构；预算与合规，决定云 API、免费通道还是本地部署。多模态没有统一的"最强方案"，只有对齐场景的方案——这也是系列每一篇都从具体场景出发的原因。

学习路线给四条搭配。补架构，配《AI Agent 开发 30 篇》：第 11 篇的总装默认你已掌握循环、工具与记忆。补上下文，配上下文工程系列：图像是窗口里最贵的内容块，"引用即弃"正是窗口是预算不是仓库这句话的多模态落地。补部署，配《本地大模型部署实战》16 篇：第 10 篇只讲 VLM 特有部分，vLLM 与 llama.cpp 的地基都在那里。补微调，配后训练系列：开源权重加 LoRA，是批量场景追平闭源的最后一公里。

对于刚走完这个系列的读者，建议下一步做一件小事：挑自己业务里一个"文本化丢信息"的环节——UI 快照、语音工单、扫描件——按第 5 节的决策树走一遍三问，两周内把单模态能力件的 demo 跑通。多模态的门槛早已不在模型，在你是否开始。