本地大模型部署（16）：选型决策树与迁移路径
《本地大模型部署实战》写到第 16 篇/post/1635，收官。前 15 篇从显存账一路讲到监控报表，每篇都在解决一个具体问题；但真到动手部署时，没人会按系列顺序重读 15 篇——你面对的永远是一个具体处境：手里几张什…
22
分类
AI
追踪大模型的实战前沿：模型横评与选型（Fable、GPT、Gemini、DeepSeek）、AI Agent 架构（浏览器代理、Computer Use、多智能体协作）、判断模型（Jev、Laya）、本地化部署（AnythingLLM、WebLLM）与开源 AI 生态全景。从原理拆解到落地配方，给出可复制的选型与工程结论。
共 34 篇文章（已按标签筛选）
本地大模型部署（15）：本地服务的可观测
本地化的卖点，系列开篇就讲过：可控——数据不出门、成本可预期、容量自己说了算。但可控有个前提：看得见。一个没有任何观测手段的推理服务就是黑盒——用户说慢，你不知道是排队变长了、GPU 打满了，还是 KV cache 触发…
23
本地大模型部署（14）：tensor parallel 与 K8s
前 13 篇把单机推理这条路走到了头：引擎原理、量化、KV Cache、投机解码、兼容层，全是"一台机器、几张卡"视角下的优化。但总有走到单机边界的一天：模型权重超出了单卡显存、或者业务并发超出了单卡的吞吐上限、或者服务…
39
本地大模型部署（13）：让本地模型无缝替换
《本地大模型部署实战》写到第 13 篇/post/1632，四大引擎——llama.cpp、Ollama、vLLM、SGLang——都已经跑通过一遍。但回看前文，每一篇都在回答"怎么把服务起起来"，还有一个问题没有正面回…
22
本地大模型部署（12）：投机解码与其他推理加速
前几篇把显存的钱花到了极致：第 11 篇/post/1630深挖 KV Cache 的结构与命中率，第 9、10 篇用量化把权重压掉一半多。但显存省下来只解决"装得下、并发开得多"，用户体感的另一半——生成时一个字一个字…
31
本地大模型部署（11）：显存占用的核心
系列走到第 11 篇/post/1630，KV Cache 这个词已经反复出现：第 2 篇/post/1621用公式算过它的显存账，第 5 篇/post/1624的 PagedAttention 为它发明了分页，第 7 …
22
本地大模型部署（10）：GPTQ/AWQ/FP8 服务端量化
上一篇（第 9 篇/post/1628）把量化这件事在 GGUF 体系里讲完了：Kquant 档位怎么读、Q4_K_M 怎么选、CPU 与消费级显卡上怎么跑。但如果你的推理引擎是 vLLM 或 SGLang——第 5、6…
18
本地大模型部署（09）：GGUF 格式与精度损失
第 3 篇/post/1622里我们下载了 Qwen38BQ4_K_M.gguf，用它跑通了推理、起了服务，还给了一张档位对照表——但那张表本质上是背结论：Q4_K_M 为什么是甜区，M 和 S 差在哪，IQ4_XS 凭…
22
本地大模型部署（08）：vLLM vs SGLang vs TGI vs LMDeploy
写这个系列到现在，主流推理引擎已经挨个上手过一遍：llama.cpp、Ollama、vLLM、SGLang，加上一直没单独成文的 TGI（Text Generation Inference）和 LMDeploy，恰好凑齐…
35
本地大模型部署（07）：Agent 负载之王
第 3 篇/post/1622里用 llamaserver 起过 OpenAI 兼容的本地 API，单机自用足够。可一旦把它接进 Agent 循环，画面就变了：每次工具返回、每轮用户追问，客户端都把 system pro…
13
本地大模型部署（06）：生产部署与调优
上一篇把 vLLMhttps://github.com/vllmproject/vllm 的连续批处理与 PagedAttention 拆完，原理层面应该没有黑盒了。但"能跑 demo"和"能上生产"之间还隔着一段路：服…
28
本地大模型部署（05）：PagedAttention 原理
前几篇把"一个人用"的链路走完了：第 3 篇/post/1622的 llama.cpp 提供了最小推理内核，第 4 篇/post/1623的 Ollama 在它上面包了一层易用外壳。但一个人用一个模型，和把模型当服务提供…
32
本地大模型部署（04）：本地开发事实标准
上一篇走通了 llama.cpp 的最小链路：找仓库、挑量化档、下 GGUF、敲一长串参数起服务。链路本身不难，但每换一个模型就要重走一遍，模型文件散落各处，服务也全靠手动管理——这是引擎的视角，离"好用"还差一层壳。这…
48
本地大模型部署（03）：llama.cpp 与 GGUF 量化
上一篇文章聊硬件，这一篇回到软件侧的起点。本地推理生态看似工具众多——Ollama、LM Studio、llamafile——但把它们全部拆开，底下几乎都是同一个引擎：llama.cpp。不理解它，就只能停在"装个 Ap…
20
本地大模型部署（02）：GPU/显存/带宽的计算方法
上一篇我们把本地部署的路线图过了一遍：模型怎么选、框架怎么挑。这一篇先不讲怎么装，先讲怎么算。买显卡之前，你需要知道自己的显存预算和速度预期，否则很容易花两万块买回一张装不下目标模型的卡，或者装下了却发现一秒只出两个词。…
31