本地大模型部署(13):让本地模型无缝替换
《本地大模型部署实战》写到第 13 篇/post/1632,四大引擎——llama.cpp、Ollama、vLLM、SGLang——都已经跑通过一遍。但回看前文,每一篇都在回答"怎么把服务起起来",还有一个问题没有正面回…
资深 Android 开发工程师,丰富系统级应用经验,覆盖亿级用户设备,专注 AI Agent 工程化落地。白天在搞 AI 智能体,晚上回来折腾这个博客。以前的文章是从刚毕业一个字一个字敲的,现在嘛——我跟 AI 说一句话,它就写好发出来了。不信?看看最新的文章 🚀
《本地大模型部署实战》写到第 13 篇/post/1632,四大引擎——llama.cpp、Ollama、vLLM、SGLang——都已经跑通过一遍。但回看前文,每一篇都在回答"怎么把服务起起来",还有一个问题没有正面回…
前几篇把显存的钱花到了极致:第 11 篇/post/1630深挖 KV Cache 的结构与命中率,第 9、10 篇用量化把权重压掉一半多。但显存省下来只解决"装得下、并发开得多",用户体感的另一半——生成时一个字一个字…
系列走到第 11 篇/post/1630,KV Cache 这个词已经反复出现:第 2 篇/post/1621用公式算过它的显存账,第 5 篇/post/1624的 PagedAttention 为它发明了分页,第 7 …
上一篇(第 9 篇/post/1628)把量化这件事在 GGUF 体系里讲完了:Kquant 档位怎么读、Q4_K_M 怎么选、CPU 与消费级显卡上怎么跑。但如果你的推理引擎是 vLLM 或 SGLang——第 5、6…
第 3 篇/post/1622里我们下载了 Qwen38BQ4_K_M.gguf,用它跑通了推理、起了服务,还给了一张档位对照表——但那张表本质上是背结论:Q4_K_M 为什么是甜区,M 和 S 差在哪,IQ4_XS 凭…
写这个系列到现在,主流推理引擎已经挨个上手过一遍:llama.cpp、Ollama、vLLM、SGLang,加上一直没单独成文的 TGI(Text Generation Inference)和 LMDeploy,恰好凑齐…
第 3 篇/post/1622里用 llamaserver 起过 OpenAI 兼容的本地 API,单机自用足够。可一旦把它接进 Agent 循环,画面就变了:每次工具返回、每轮用户追问,客户端都把 system pro…
上一篇把 vLLMhttps://github.com/vllmproject/vllm 的连续批处理与 PagedAttention 拆完,原理层面应该没有黑盒了。但"能跑 demo"和"能上生产"之间还隔着一段路:服…
前几篇把"一个人用"的链路走完了:第 3 篇/post/1622的 llama.cpp 提供了最小推理内核,第 4 篇/post/1623的 Ollama 在它上面包了一层易用外壳。但一个人用一个模型,和把模型当服务提供…
上一篇走通了 llama.cpp 的最小链路:找仓库、挑量化档、下 GGUF、敲一长串参数起服务。链路本身不难,但每换一个模型就要重走一遍,模型文件散落各处,服务也全靠手动管理——这是引擎的视角,离"好用"还差一层壳。这…
上一篇文章聊硬件,这一篇回到软件侧的起点。本地推理生态看似工具众多——Ollama、LM Studio、llamafile——但把它们全部拆开,底下几乎都是同一个引擎:llama.cpp。不理解它,就只能停在"装个 Ap…
上一篇我们把本地部署的路线图过了一遍:模型怎么选、框架怎么挑。这一篇先不讲怎么装,先讲怎么算。买显卡之前,你需要知道自己的显存预算和速度预期,否则很容易花两万块买回一张装不下目标模型的卡,或者装下了却发现一秒只出两个词。…
本站此前几大系列有一个共同的默认前提:模型在云端,代码在本地,中间靠一根 API 网线相连。《AI Agent 开发》如此,《上下文工程》与《评测驱动开发》也一样——调的是各家旗舰的 API,按 token 付费。这套模…

打开任何一家大模型厂商的价格页,计价单位既不是字也不是词,而是 token。上下文窗口 1M、速率限制、API 账单、Claude Code 一天烧掉的额度,全部以 token 结算。 Token 是大模型世界的三重度量衡:文本的切分单位、注意力的内存单位、账单的计价单位。 这三个角色是同一件事的三个侧面:模型只能看见 token 序列,注意力机制按 token 占用显存,厂商按 token 收钱…

做 LLM 应用的人大概率绕不开 LangChain 这个名字,但今天它早已不是一个库,而是一条产品线:LangChain、LangGraph、LangSmith 各管一段。第一次接触很容易被相似的名字搞混,甚至用错位——拿组件库硬扛复杂编排,或者把观测平台当库来装。 三者关系有个好记的类比:造一辆 agent 的话,LangChain 是零件目录,LangGraph 是底盘和传动系统,LangS…

大语言模型本质上只是一个"文本进、文本出"的函数:给它一段文字,它返回一段文字,仅此而已。它不能读文件、不能执行命令、甚至记不住上一轮对话。可它今天能改代码、查资料、连续完成几十步任务,靠的不是模型本身,而是模型外面套着的一整套系统——这套系统叫 harness。这个词的本义是马具:马有力量,但光有马拉不了车,得有一套把马力牵引到车上的挽具。 模型是马,harness 就是挽具。本文先讲清 har…
《TypeScript Agent 开发(Mastra)》写到第 14 篇/post/1561,收官。前 13 篇从脚手架一路讲到数据分析实战,每篇解决一个具体问题;但真到立项选栈时,没人会按系列顺序重读 13 篇——你…
上一篇把 Agent 长进了 Next.js:一个仓库、一次部署、类型从 schema 穿到浏览器。零件至此备齐,收官实战把它们拼成一台完整的机器:数据分析 Agent。它的需求规格书不在本系列手里——《AI Agent…
上一篇把 Mastra 打成 Docker 镜像送进了生产。但很多场景里,Agent 只是 Web 产品的一个能力位——智能搜索、客服入口、摘要生成——为它单独立服务、立域名、立 CI,成本全在胶水上。这一篇讲 Mast…
前 10 篇的 Agent 都活在 mastra dev 里:改代码热重载,Studio 里点一点就能验证。可 Agent 迟早要见真实用户——挂到公网、接上前端、扛住流量,这一步在框架教程里往往是空白。Python 版…