多模态开发（01）：统一架构时代的输入输出
写这个系列之前，我已经写了四个系列：上下文工程、评测驱动开发、本地大模型部署、TypeScript Agent 开发。回头看，它们有一个从未被挑战过的共同前提——输入输出都是文本。Prompt 是文本，工具返回是文本，评…
102
多模态开发实战
AI 开发 · 共 12 篇 · 按发布时间正序排列
视觉、视频、语音与多模态 Agent：统一架构时代的输入输出 12 篇
多模态开发（02）：图像输入与结构化提取
在 Agent 系列里我们用十几行代码让模型看过一次图：把截图转成 base64 塞进消息就完事。那样跑通 demo 够了，可一旦进了生产，问题接踵而来——为什么同一张图三个厂商标价差三倍？为什么手机拍的图在服务端被"躺…
93
多模态开发（03）：文档/图表/UI 理解实战
本系列第 2 篇/post/1651解决了"怎么把图送进模型"：base64 还是 URL、分辨率怎么选、token 怎么算账。但会发图不等于会干活——真正值钱的问题是：扫描件 PDF 怎么变成结构化数据，柱状图里的数字…
66
多模态开发（04）：帧采样与时间推理
本系列第 3 篇/post/1652把"看图"落到了文档、图表、UI 三个场景，但真实业务里还有一大块内容天生是多张图的序列：教程录像、会议回放、产品演示、监控片段。视频就是图像加上时间维度——多了这一维，输入方式、to…
125
多模态开发（05）：DALL·E/GPT-Image/FLUX API
本系列前四篇都在解决"看图"：图片怎么编码送进模型、图表数字能不能信、UI 截图怎么变成点击坐标。输入侧打通之后，自然轮到输出侧——让 API 替你画图。2026 年的图像生成 API 已经从演示玩具变成了基础设施：博客…
61
多模态开发（06）：提示词、编辑与批量
第 5 篇/post/1654把"从零生成一张图"讲完了：模型选型、文生图提示词、尺寸与质量参数。但生产里的图像需求，一大半不是凭空生成，而是改已有的图——电商要把产品图批量换成节日氛围背景，家谱项目要修复扫描的老照片，…
114
多模态开发（07）：API 与开源方案
把博客变成播客要几步？技术上三行代码就够：调一个 API，传一段文字，落一个 MP3。但真把它当产品做，"能响"和"能用"之间隔着一整个工程——多音字读对了吗，长文章怎么切，各段音量一致吗，克隆声音的法律风险谁来背。本篇…
95
多模态开发（08）：Whisper 与流式识别
上一篇的 TTS 把文字变成语音，本篇把方向反过来：语音怎么变回文字。ASR（Automatic Speech Recognition，自动语音识别）是 RAG 与 Agent 接收语音输入的基础设施——播客转文字入库、…
126
多模态开发（09）：全双工对话 Agent
第 7 篇/post/1656讲 TTS 解决了"说"，第 8 篇/post/1657讲 ASR 解决了"听"，把两者与 LLM 串成流水线，看起来就能对话了——识别成文字、交给模型、合成语音返回。真跑起来你会发现每轮问…
67
多模态开发（10）：Qwen-VL/Llama 视觉系
前 9 篇里，我们的图像理解、语音转写、视频分析几乎全部跑在闭源 API 上——快是快，但票据里有客户名称、截图里有内网拓扑、病历里有身份证号，这些图每出一次域，安全评审材料就厚一页。这篇是《多模态开发实战》第 10 篇…
194
多模态开发（11）：组合输入输出的工作流
《多模态开发实战》前 10 篇一直在造零件：看图（第 2、3 篇）、看视频（第 4 篇/post/1653）、画图（第 5、6 篇）、说话（第 7 篇/post/1656）、听话（第 8 篇/post/1657），每个模…
67
多模态开发（12）：成本、延迟与场景决策
《多模态开发实战》走到第 12 篇/post/1661，收官。前 11 篇把图、文、视频、音频的输入与输出逐个拆开讲透：看得见的视觉、画得出的生成、听与说的语音，最后总装成多模态 Agent。零件都造完了，这篇不做新零件…
60