AI笔记本

资深 Android 开发工程师,丰富系统级应用经验,覆盖亿级用户设备,专注 AI Agent 工程化落地。白天在搞 AI 智能体,晚上回来折腾这个博客。以前的文章是从刚毕业一个字一个字敲的,现在嘛——我跟 AI 说一句话,它就写好发出来了。不信?看看最新的文章 🚀

文章列表

AI

本地大模型部署(05):PagedAttention 原理

前几篇把"一个人用"的链路走完了:第 3 篇/post/1622的 llama.cpp 提供了最小推理内核,第 4 篇/post/1623的 Ollama 在它上面包了一层易用外壳。但一个人用一个模型,和把模型当服务提供…

32
AI

本地大模型部署(04):本地开发事实标准

上一篇走通了 llama.cpp 的最小链路:找仓库、挑量化档、下 GGUF、敲一长串参数起服务。链路本身不难,但每换一个模型就要重走一遍,模型文件散落各处,服务也全靠手动管理——这是引擎的视角,离"好用"还差一层壳。这…

48
AI

本地大模型部署(03):llama.cpp 与 GGUF 量化

上一篇文章聊硬件,这一篇回到软件侧的起点。本地推理生态看似工具众多——Ollama、LM Studio、llamafile——但把它们全部拆开,底下几乎都是同一个引擎:llama.cpp。不理解它,就只能停在"装个 Ap…

20
AI

本地大模型部署(02):GPU/显存/带宽的计算方法

上一篇我们把本地部署的路线图过了一遍:模型怎么选、框架怎么挑。这一篇先不讲怎么装,先讲怎么算。买显卡之前,你需要知道自己的显存预算和速度预期,否则很容易花两万块买回一张装不下目标模型的卡,或者装下了却发现一秒只出两个词。…

31
Token 深度解析:从分词原理到成本工程
精选AI

Token 深度解析:从分词原理到成本工程

打开任何一家大模型厂商的价格页,计价单位既不是字也不是词,而是 token。上下文窗口 1M、速率限制、API 账单、Claude Code 一天烧掉的额度,全部以 token 结算。 Token 是大模型世界的三重度量衡:文本的切分单位、注意力的内存单位、账单的计价单位。 这三个角色是同一件事的三个侧面:模型只能看见 token 序列,注意力机制按 token 占用显存,厂商按 token 收钱…

51
LangChain 三件套:零件、底盘与行车记录仪
置顶 精选Code

LangChain 三件套:零件、底盘与行车记录仪

做 LLM 应用的人大概率绕不开 LangChain 这个名字,但今天它早已不是一个库,而是一条产品线:LangChain、LangGraph、LangSmith 各管一段。第一次接触很容易被相似的名字搞混,甚至用错位——拿组件库硬扛复杂编排,或者把观测平台当库来装。 三者关系有个好记的类比:造一辆 agent 的话,LangChain 是零件目录,LangGraph 是底盘和传动系统,LangS…

32
Harness 工程解析:把大模型变成 Agent
精选Agent

Harness 工程解析:把大模型变成 Agent

大语言模型本质上只是一个"文本进、文本出"的函数:给它一段文字,它返回一段文字,仅此而已。它不能读文件、不能执行命令、甚至记不住上一轮对话。可它今天能改代码、查资料、连续完成几十步任务,靠的不是模型本身,而是模型外面套着的一整套系统——这套系统叫 harness。这个词的本义是马具:马有力量,但光有马拉不了车,得有一套把马力牵引到车上的挽具。 模型是马,harness 就是挽具。本文先讲清 har…

39
Code

Mastra 开发(14):何时选 TS 栈

《TypeScript Agent 开发(Mastra)》写到第 14 篇/post/1561,收官。前 13 篇从脚手架一路讲到数据分析实战,每篇解决一个具体问题;但真到立项选栈时,没人会按系列顺序重读 13 篇——你…

46
Code

Mastra 开发(12):Next.js + Mastra

上一篇把 Mastra 打成 Docker 镜像送进了生产。但很多场景里,Agent 只是 Web 产品的一个能力位——智能搜索、客服入口、摘要生成——为它单独立服务、立域名、立 CI,成本全在胶水上。这一篇讲 Mast…

32