# 标签

模型

共 35 篇文章

AI

注意力机制解析:模型怎么读懂它

读到 "The animal didn't cross the street because it was too tired" 这句话,你瞬间知道 it 指的是 animal 而不是 street。人类靠语感,模型没有任何语法书,它靠的是注意力机制——为每个 token 计算"该关注谁"的一套权重。这套机制是大模型一切能力的地基,数学门槛不高,直觉很好建立。 本文从软字典的类比开始,走完注意力的…

25
AI

本地大模型部署(16):选型决策树与迁移路径

《本地大模型部署实战》写到第 16 篇/post/1635,收官。前 15 篇从显存账一路讲到监控报表,每篇都在解决一个具体问题;但真到动手部署时,没人会按系列顺序重读 15 篇——你面对的永远是一个具体处境:手里几张什…

28
AI

本地大模型部署(15):本地服务的可观测

本地化的卖点,系列开篇就讲过:可控——数据不出门、成本可预期、容量自己说了算。但可控有个前提:看得见。一个没有任何观测手段的推理服务就是黑盒——用户说慢,你不知道是排队变长了、GPU 打满了,还是 KV cache 触发…

28
AI

本地大模型部署(14):tensor parallel 与 K8s

前 13 篇把单机推理这条路走到了头:引擎原理、量化、KV Cache、投机解码、兼容层,全是"一台机器、几张卡"视角下的优化。但总有走到单机边界的一天:模型权重超出了单卡显存、或者业务并发超出了单卡的吞吐上限、或者服务…

48
AI

本地大模型部署(05):PagedAttention 原理

前几篇把"一个人用"的链路走完了:第 3 篇/post/1622的 llama.cpp 提供了最小推理内核,第 4 篇/post/1623的 Ollama 在它上面包了一层易用外壳。但一个人用一个模型,和把模型当服务提供…

40
AI

本地大模型部署(04):本地开发事实标准

上一篇走通了 llama.cpp 的最小链路:找仓库、挑量化档、下 GGUF、敲一长串参数起服务。链路本身不难,但每换一个模型就要重走一遍,模型文件散落各处,服务也全靠手动管理——这是引擎的视角,离"好用"还差一层壳。这…

52
AI

本地大模型部署(03):llama.cpp 与 GGUF 量化

上一篇文章聊硬件,这一篇回到软件侧的起点。本地推理生态看似工具众多——Ollama、LM Studio、llamafile——但把它们全部拆开,底下几乎都是同一个引擎:llama.cpp。不理解它,就只能停在"装个 Ap…

21