本地大模型部署(02):GPU/显存/带宽的计算方法
上一篇我们把本地部署的路线图过了一遍:模型怎么选、框架怎么挑。这一篇先不讲怎么装,先讲怎么算。买显卡之前,你需要知道自己的显存预算和速度预期,否则很容易花两万块买回一张装不下目标模型的卡,或者装下了却发现一秒只出两个词。…
# 标签
共 35 篇文章
上一篇我们把本地部署的路线图过了一遍:模型怎么选、框架怎么挑。这一篇先不讲怎么装,先讲怎么算。买显卡之前,你需要知道自己的显存预算和速度预期,否则很容易花两万块买回一张装不下目标模型的卡,或者装下了却发现一秒只出两个词。…
本站此前几大系列有一个共同的默认前提:模型在云端,代码在本地,中间靠一根 API 网线相连。《AI Agent 开发》如此,《上下文工程》与《评测驱动开发》也一样——调的是各家旗舰的 API,按 token 付费。这套模…

Langfuse:开源 LLM 工程平台,从追踪到评估LLM 应用上线后,团队很快会面对一堆工程问题:这次回答为什么这么差?哪个 prompt 版本效果好?一次会话烧了多少 token?用户点了赞还是踩?这些在传统应用里靠 APM + 日志解决的问题,在 LLM 应用里需要专门的工具链——LLMOps。Langfuse 是这个领域最热门的开源平台:帮团队协作地开发、监控、评估、调试 AI 应用,支

LiteLLM 详解:统一 100+ 大模型的开放 AI 网关项目里一旦接了两家以上的大模型,麻烦就来了:每家一套 SDK、一套鉴权、一套流式协议,成本与配额还各管各的。BerriAI/litellm(LiteLLM)为此而生:它是一个开源 AI 网关,用 OpenAI 格式统一调用 100 多家 LLM 提供商,既能当 Python 库直接用,也能部署成集中式网关,自带虚拟密钥、花费追踪、负载均

做计算机视觉的工程师大概都绕不开 YOLO,而提起 YOLO 的工程化落地,Ultralytics 几乎就是默认答案。这个仓库把检测、分割、姿态估计、深度估计这些原本要拼多个框架才能完成的任务,收进了一个统一的 API …

看一组数字就够了:GitHub 上约 104k Star、超过 11 万次提交——PyTorch 是当前最受研究者欢迎的深度学习框架。从 2017 年靠"动态图加 Python 原生体验"掀翻静态图霸主,到大模型时代各家…
编码之王之争:2026 编码模型深评与实战选型"写代码用哪个模型?"是开发者每天都要回答的问题。但"编码能力"不是一个分数能概括的——补全一行、生成一个函数、重构一个模块、调试一个疑难 Bug,是四种完全不同的活,各自的最优解并不重合。本文不和"全维度横评"重复,而是钻进"编码"这一条纵深:拆开编码能力的细分维度、深读基准、按工作流分维度对比,帮你把对的活交给对的模型。1、编码之争的核心转变:从"

大模型应用上线后,第一个撞上的墙往往不是模型效果,而是推理成本和吞吐。原生 Hugging Face 推理一次一个请求、KV 缓存整块预留显存,GPU 利用率低得可怜。vLLM 就是为解决这个问题生的:它用 PagedA…

国产大模型 2026:DeepSeek、Kimi、Qwen 的现状与选型2026 年,国产大模型已经从"追赶者"变成"第一梯队常客"。DeepSeek 用开源推理震动业界,Kimi 把超长上下文做到极致,Qwen 搭起全尺寸多模态生态,智谱、豆包、MiniMax 各占一席。对国内团队而言,"用国产"已不再是退而求其次——在中文、成本、可控这三件事上,它往往是更优解。本文不止盘点,更讲清"怎么获取、

别盲信大模型:幻觉的根源与分层校验方法论大模型越强大、回答越流畅,就越容易让人卸下戒备。但一项针对前沿 LLM 的实测给出一个扎心的数字:在约 67% 的真实世界事实验证上,不同模型给出的结论互相矛盾——同一个问题,Claude、GPT、Gemini 各执一词。详见 前沿 LLM 事实验证分歧。流畅,是 AI 最危险的伪装。本文不讲"幻觉很可怕"这种废话,而是讲透它为什么必然发生,以及如何用一套分

世界模型:AI 的下一个前沿到底指什么LLM 学会了"语言",却有个致命盲区——它"懂词不懂世界"。它知道"摔碎"常和"杯子"一起出现,却未必真懂重力与碰撞;它能描述"向左打方向盘",却无法预测下一秒车的位置。要让 AI 走进物理世界、做长期规划,就得给它一个能"预演后果"的内部模拟器——这就是世界模型(World Model),被广泛视为继 LLM 之后 AI 的下一个前沿。延伸阅读。1、世界模

如果说深度学习这十年有什么基础设施级别的工程,Hugging Face 的 Transformers 一定排在前列。它把「下载一个预训练模型跑推理」从论文复现级别的难度,降到了一个 pipeline 调用的程度,文本、视觉、音频、多模态全都能吃。到今天 Hub 上的 Transformers 模型检查点已经超过 100 万个,几乎每个新发布的开源模型都会先给它提交架构支持。本文从项目定位讲起,覆盖…

2026 大模型横评与选型:Fable 5、GPT-5.x、Gemini 3.x 怎么选 2026 年中,大语言模型早已不是"一家独大"。Anthropic、OpenAI、Google 三强贴身肉搏,国产 DeepSeek、Kimi、Qwen 紧咬不放,开源阵营持续走高。真正棘手的问题,已经不是"哪个模型最强",而是"我的场景该用哪个"——同一条任务,选错模型可能多花十倍成本、还更慢更差。本文先用…

Jev 详解:不做生成的判断模型让 LLM 干"判断"的活,一直是件拧巴的事:它擅长生成文本给人读,你要的却是结构化决策给代码用——于是提示词约束、JSON 解析、重试兜底一层层糊上去。TypeSafe AI 的答案是干脆换一类模型:Jev,首个 System One 模型——不做文本生成,专职快速、结构化的判断:输入状态与类型化问题,输出带概率与置信度的结构化答案,类型错误在数学上不可能发生,因
小模型当道:蒸馏、量化与端侧部署的工程逻辑前两年"参数越大越强"的叙事统治一切,但 2026 年出现了一个反直觉的回潮:小模型重新吃香。从手机里的端侧助手,到企业里"小而专"的微调模型,越来越多人发现——"够用、便宜、快、可控"的小模型,在大量场景里比大模型更优。本文不讲"小模型也很好"的废话,而是拆开它靠什么变强、怎么部署、如何与大模型协作。1、"越大越好"为什么逆转大模型确实强,但它带着三个硬