本地大模型部署（03）：llama.cpp 与 GGUF 量化
上一篇文章聊硬件，这一篇回到软件侧的起点。本地推理生态看似工具众多——Ollama、LM Studio、llamafile——但把它们全部拆开，底下几乎都是同一个引擎：llama.cpp。不理解它，就只能停在"装个 Ap…
20
分类
AI
追踪大模型的实战前沿：模型横评与选型（Fable、GPT、Gemini、DeepSeek）、AI Agent 架构（浏览器代理、Computer Use、多智能体协作）、判断模型（Jev、Laya）、本地化部署（AnythingLLM、WebLLM）与开源 AI 生态全景。从原理拆解到落地配方，给出可复制的选型与工程结论。
共 162 篇文章
本地大模型部署（02）：GPU/显存/带宽的计算方法
上一篇我们把本地部署的路线图过了一遍：模型怎么选、框架怎么挑。这一篇先不讲怎么装，先讲怎么算。买显卡之前，你需要知道自己的显存预算和速度预期，否则很容易花两万块买回一张装不下目标模型的卡，或者装下了却发现一秒只出两个词。…
31
本地大模型部署（01）：为什么以及什么时候本地跑
本站此前几大系列有一个共同的默认前提：模型在云端，代码在本地，中间靠一根 API 网线相连。《AI Agent 开发》如此，《上下文工程》与《评测驱动开发》也一样——调的是各家旗舰的 API，按 token 付费。这套模…
30
Token 深度解析：从分词原理到成本工程
打开任何一家大模型厂商的价格页，计价单位既不是字也不是词，而是 token。上下文窗口 1M、速率限制、API 账单、Claude Code 一天烧掉的额度，全部以 token 结算。 Token 是大模型世界的三重度量衡：文本的切分单位、注意力的内存单位、账单的计价单位。 这三个角色是同一件事的三个侧面：模型只能看见 token 序列，注意力机制按 token 占用显存，厂商按 token 收钱…
51
Langfuse：开源 LLM 工程平台，从追踪到评估
Langfuse：开源 LLM 工程平台，从追踪到评估LLM 应用上线后，团队很快会面对一堆工程问题：这次回答为什么这么差？哪个 prompt 版本效果好？一次会话烧了多少 token？用户点了赞还是踩？这些在传统应用里靠 APM + 日志解决的问题，在 LLM 应用里需要专门的工具链——LLMOps。Langfuse 是这个领域最热门的开源平台：帮团队协作地开发、监控、评估、调试 AI 应用，支
49
google mcp：Google 官方 MCP 门户
MCP 服务器有两种交付形态：本地进程（npx / uvx 启动）与远程托管（HTTP 端点即用）。Google 的官方仓 google/mcp 主打后者——描述只有一句"Google 💚 MCP"，README 列出 Google 托管与维护的官方 MCP 服务器：BigQuery、AlloyDB、Cloud SQL、Compute Engine 等 Google Cloud 核心服务的远程端…
50
system-prompts-and-models-of-ai-tools：AI 工具系统Prompt合集
system-prompts-and-models-of-ai-tools ： AI 工具系统Prompt合集在 AI 编码与生产力工具爆发式增长的背景下，每款产品背后都藏着一段决定其行为的系统提示词。GitHub 上 x1xhlol（Lucas Valbuena）维护的 system-prompts-and-models-of-ai-tools 仓库（142.3k Star，GPL-3.0）自称
56
SillyTavern 详解：给 Power User 的 LLM 前端
SillyTavern 详解：给 Power User 的 LLM 前端主流聊天前端都在做减法——藏起提示词、简化设置、把用户当小白。SillyTavern/SillyTavern（ST）反其道而行：官方自述"给你对 LLM 提示词尽可能多的控制权，并把陡峭学习曲线当作乐趣的一部分"。它是角色扮演与创意写作圈的事实标准前端——角色卡、世界书、群聊、用户人设这些概念在这里发展成熟，再扩散到整个生态。
69
LiteLLM 详解：统一 100+ 大模型的开放 AI 网关
LiteLLM 详解：统一 100+ 大模型的开放 AI 网关项目里一旦接了两家以上的大模型，麻烦就来了：每家一套 SDK、一套鉴权、一套流式协议，成本与配额还各管各的。BerriAI/litellm（LiteLLM）为此而生：它是一个开源 AI 网关，用 OpenAI 格式统一调用 100 多家 LLM 提供商，既能当 Python 库直接用，也能部署成集中式网关，自带虚拟密钥、花费追踪、负载均
82
Prompt Engineering 核心技巧详解
与模型对话时，同一个需求换一种问法，得到的结果可能天差地别：一次得到可用的生产代码，另一次得到一堆正确的废话。这不是模型“看心情”，而是提示词（Prompt）本身就在决定模型的注意力分配与输出形态。提示工程（Prompt Engineering）就是把这件看似玄学的事，变成一套可复现、可迭代的工程方法。本文按“基本结构 → 核心技巧 → 结构化输出 → 迭代优化 → 常见误区 → 总结”组织全文。…
133
RAG 详解：检索增强生成从原理到实战
大模型知道很多，但不知道你公司的内部文档、上周的产品公告、你个人笔记里的那条备忘。直接问它，它要么坦白不知道，要么一本正经地编一个答案——后者就是臭名昭著的幻觉。RAG（Retrieval-Augmented Generation，检索增强生成）给出的解法是：回答之前先查资料——把相关的私有知识实时检索出来，塞进上下文，再让模型基于资料作答。这是当前企业级 AI 应用采用率最高的架构，没有之一。本…
84
ChatDev：从虚拟软件公司到零代码多智能体平台
ChatDev：从虚拟软件公司到零代码多智能体平台2023 年，清华 OpenBMB 开源的 ChatDev 以一个狂想的设想火遍全网：让 AI agent 组建一家"虚拟软件公司"——CEO 定需求、CTO 做架构、程序员写代码、测试员找 bug，各司其职地"开会"，把一句想法自动变成可运行的软件。它是"多智能体协作"最出圈的启蒙教材。2026 年 1 月，这个项目完成了一次华丽蜕变：ChatD
92
Jan 详解：100% 离线运行的开源 ChatGPT 替代
Jan 详解：100% 离线运行的开源 ChatGPT 替代想在本地跑大模型聊天，老牌选手是 Ollama——但它是引擎，不是产品；想要 ChatGPT 那样的完整界面，又不想数据出本机，janhq/jan（Jan）给出的答案是"两者合一"：一个 ChatGPT 形态的桌面应用，下载即用，LLM 在本机跑、对话数据本地存，全程可断网；想接云端时 OpenAI / Claude / Mistral
90
Ultralytics 详解：YOLO 视觉开箱即用
做计算机视觉的工程师大概都绕不开 YOLO，而提起 YOLO 的工程化落地，Ultralytics 几乎就是默认答案。这个仓库把检测、分割、姿态估计、深度估计这些原本要拼多个框架才能完成的任务，收进了一个统一的 API …
108
多模态开发（12）：成本、延迟与场景决策
《多模态开发实战》走到第 12 篇/post/1661，收官。前 11 篇把图、文、视频、音频的输入与输出逐个拆开讲透：看得见的视觉、画得出的生成、听与说的语音，最后总装成多模态 Agent。零件都造完了，这篇不做新零件…
70