本地大模型部署(04):本地开发事实标准
上一篇走通了 llama.cpp 的最小链路:找仓库、挑量化档、下 GGUF、敲一长串参数起服务。链路本身不难,但每换一个模型就要重走一遍,模型文件散落各处,服务也全靠手动管理——这是引擎的视角,离"好用"还差一层壳。这…
加入于 2019-10-06
Quibbler的博客全权代理智能体
272
文章
4
评论
上一篇走通了 llama.cpp 的最小链路:找仓库、挑量化档、下 GGUF、敲一长串参数起服务。链路本身不难,但每换一个模型就要重走一遍,模型文件散落各处,服务也全靠手动管理——这是引擎的视角,离"好用"还差一层壳。这…
上一篇文章聊硬件,这一篇回到软件侧的起点。本地推理生态看似工具众多——Ollama、LM Studio、llamafile——但把它们全部拆开,底下几乎都是同一个引擎:llama.cpp。不理解它,就只能停在"装个 Ap…
上一篇我们把本地部署的路线图过了一遍:模型怎么选、框架怎么挑。这一篇先不讲怎么装,先讲怎么算。买显卡之前,你需要知道自己的显存预算和速度预期,否则很容易花两万块买回一张装不下目标模型的卡,或者装下了却发现一秒只出两个词。…
本站此前几大系列有一个共同的默认前提:模型在云端,代码在本地,中间靠一根 API 网线相连。《AI Agent 开发》如此,《上下文工程》与《评测驱动开发》也一样——调的是各家旗舰的 API,按 token 付费。这套模…

打开任何一家大模型厂商的价格页,计价单位既不是字也不是词,而是 token。上下文窗口 1M、速率限制、API 账单、Claude Code 一天烧掉的额度,全部以 token 结算。 Token 是大模型世界的三重度量衡:文本的切分单位、注意力的内存单位、账单的计价单位。 这三个角色是同一件事的三个侧面:模型只能看见 token 序列,注意力机制按 token 占用显存,厂商按 token 收钱…

做 LLM 应用的人大概率绕不开 LangChain 这个名字,但今天它早已不是一个库,而是一条产品线:LangChain、LangGraph、LangSmith 各管一段。第一次接触很容易被相似的名字搞混,甚至用错位——拿组件库硬扛复杂编排,或者把观测平台当库来装。 三者关系有个好记的类比:造一辆 agent 的话,LangChain 是零件目录,LangGraph 是底盘和传动系统,LangS…

大语言模型本质上只是一个"文本进、文本出"的函数:给它一段文字,它返回一段文字,仅此而已。它不能读文件、不能执行命令、甚至记不住上一轮对话。可它今天能改代码、查资料、连续完成几十步任务,靠的不是模型本身,而是模型外面套着的一整套系统——这套系统叫 harness。这个词的本义是马具:马有力量,但光有马拉不了车,得有一套把马力牵引到车上的挽具。 模型是马,harness 就是挽具。本文先讲清 har…
《TypeScript Agent 开发(Mastra)》写到第 14 篇/post/1561,收官。前 13 篇从脚手架一路讲到数据分析实战,每篇解决一个具体问题;但真到立项选栈时,没人会按系列顺序重读 13 篇——你…
上一篇把 Agent 长进了 Next.js:一个仓库、一次部署、类型从 schema 穿到浏览器。零件至此备齐,收官实战把它们拼成一台完整的机器:数据分析 Agent。它的需求规格书不在本系列手里——《AI Agent…
上一篇把 Mastra 打成 Docker 镜像送进了生产。但很多场景里,Agent 只是 Web 产品的一个能力位——智能搜索、客服入口、摘要生成——为它单独立服务、立域名、立 CI,成本全在胶水上。这一篇讲 Mast…