选大模型时,厂商的发布博客和各家榜单经常互相矛盾——A 家说智能第一,B 家说性价比最优,第三方跑分又和方法论打架。久而久之,行业需要一个口径统一、立场独立的参照系。Artificial Analysis(AA)做的就是这件事:独立测评 AI 模型与提供商,用自建的 Intelligence Index、速度、成本三维数据帮用户按场景选模型选厂商。它不隶属于任何模型厂商,评测自己跑、榜单自己发,已成为开发者与团队选型的常用工具站。本文按"概述 → 指数体系 → 特色板块 → 实用姿势 → 总结"组织全文。
1、概述
Artificial Analysis 定位为"AI 领域的独立分析"(Independent analysis of AI):一句话使命是"理解 AI 全景,为你的场景选出最好的模型与提供商"。网站提供模型横向对比(智能、价格、速度、延迟等多维)、模型推荐器、能力指数与评测榜单,覆盖文本、图像、视频、语音多模态。
它的核心资产是自建评测:Intelligence Index 当前版本 v4.3.2 纳入 10 项评测(AA-Briefcase、GDPval-AA、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR),不依赖厂商自报成绩。内容更新节奏以天计:近一周内就有 Claude Haiku 5.5 全系六个推理档位的评测、Gemini 4 Argon、Mistral Large 4、GPT-6 Sol 系列等新模型上线,新模型发布基本当天或次日就有数据。
产品形态上,网站免费开放核心榜单,另有 Optima(自建自定义基准)与 Model Recommender(按智能 / 速度 / 成本权重给个性化推荐)等工具,以及面向企业的 Harvey LAB-AA(法律 Agent 基准,v1.1 加入幻觉检查)等合作评测。
2、指数体系:智能、速度、成本三轴
AA 的选型框架可以浓缩为三个问题:多聪明、多快、多贵。三条轴各有指数,交叉出"性价比象限图"(横轴成本、纵轴性能,帕累托前沿一目了然)。
Intelligence Index(智能指数):核心指数,聚合 10 项评测。评测构成值得注意——agentic(Agent 化任务)占了大头:AA-Briefcase 测长程知识工作(交付电子表格、演示文稿、备忘录)、GDPval-AA 测跨职业的真实经济价值任务、AutomationBench-AA 测 SaaS 自动化工作流、Terminal-Bench 4.0 测终端里的 Agent 编码。这反映了评测观的转向:从静态问答转向"干活能力"。指数还区分开源权重与专有模型两条曲线,附开源 / 商用受限 / 非商用标注。
Cost per Task(每任务成本):不是简单的 token 单价,而是加权平均每 Intelligence Index 任务的美元成本——按输入、缓存命中、缓存写入、推理、回答五类 token 计价除以任务数再加权。这个口径比"每百万 token 价格"诚实得多:一个推理烧 10 万 token 的模型,标价再便宜实际任务成本也可能更高。配套还有 Output Tokens per Task(每任务输出 token 数)指标,衡量 token 效率。
Speed & Latency(速度与延迟):输出速度(tokens/s)与每任务解码时间(分钟),数据来自第一方 API 或多提供商中位数。
三条轴的组合拳是 "Intelligence vs. Cost per Task" 散点图:最吸引象限(高智能 + 低成本)与帕累托线直接标出,选型时"哪个模型在性价比前沿上"一眼可见。按模型发布版本分组的变体图还能看同代不同推理档位(Low/Medium/High/Max)的位置差。
3、特色板块
除三轴主框架外,几个板块值得单独一提。
Coding Agent Index(v1.5):针对编码 Agent(而非裸模型)的指数,聚合 DeepSWE v1.1、Terminal-Bench 4.0、SWE-Atlas-QnA 三项,输出"性能 vs. 每 task API 成本"对比——Agent 选型(Claude Code 里跑什么模型、用哪家 Agent 产品)有了独立参照。
Cyber Index(v1,新发布):企业网络防御能力指数,聚合 CWE-Bench-AA、DeepsecBench-AA、CyberGym-E2E-AA。两个设计细节:区分"成功"与"安全拒绝"(模型拒答安全任务 vs. 真做出来分开计);引入 trusted-access 模型标注(不公开、仅受邀测评),官方称这是为应对"亟需加强网络防御能力"的紧迫需求。
Arena 系列:图像 / 视频 / 语音的偏好竞技场,用招募的人类评审团盲测投票出 Elo 分(文本转图像、文生视频、TTS 语音各有榜单,附 95% 置信区间)。
Capability Indexes(能力指数):按行业与能力分指数——金融与会计(7 项评测聚合)、法律(Harvey LAB-AA)、医疗(MLCR-AA 长上下文医学推理)、IT 运维(ITBench-AA 测 Kubernetes 事故根因分析)、科研(Terminal-Bench-Science)、量化分析(AA-AnalystAgent 测表格与文档)等。按行业选模型有了直接入口。
Openness Index(开放度指数):评估模型"有多开放"——按组件(权重、代码、数据等)的可用性与透明度打分,上限 18 分;配上 Openness vs. Intelligence 散点图,"开放且聪明"的模型位置一目了然。
Endpoint Accuracy Index(端点准确率):同一个开源模型(如 gpt-oss-120b)在不同托管提供商的端点上跑分,量化"提供商把你模型的智能跑掉了几成"——量化、采样默认值等端点侧配置造成的精度损失被显式曝光,对选托管商极实用。
4、实用姿势
面向日常选型的几个建议用法:
- 新模型快速定位:发布当天看 AA 有无评测,进 Intelligence vs. Cost 散点图找它落在帕累托线的哪一段
- 按行业选模型:先看 Capability Indexes 里自己行业的指数(法律看 Harvey LAB-AA、运维看 ITBench-AA),再回主榜核成本
- 真成本核算:别看目录价,用 Cost per Task——尤其推理型模型,先看 Output Tokens per Task 再算账
- 托管商选型:开源模型查 Endpoint Accuracy Index,同一模型不同厂商的智能保留率差异可能超预期
- 拿不准就问推荐器:Model Recommender 里拖动智能 / 速度 / 成本权重,得到加权推荐
使用边界也要清楚:指数是"通用智能"的近似,具体业务的表现仍需自测;榜单数据是时点快照(端点准确率尤其如此);Arena 类偏好评分带主观成分;评测以英文任务为主,中文场景的迁移性需自行验证。
5、总结
Artificial Analysis 是 AI 模型选型的独立测评站:以自建 Intelligence Index(v4.3.2,聚合 10 项评测、Agent 化任务为主)、每任务真实成本(五类 token 加权)、输出速度三轴构建选型框架,帕累托散点图直接标出性价比前沿;特色板块覆盖编码 Agent、网络防御、图像视频语音竞技场、按行业的能力指数、模型开放度与托管端点准确率;新模型评测以天级速度跟进,Optima 与推荐器补足定制需求。
它适合一切"要在多个模型 / 多个提供商之间做选择"的场景——个人开发者挑日常模型、团队做技术选型、企业评估托管方案,三维数据加行业指数比厂商营销材料可靠得多。边界方面:通用指数不能替代业务实测,快照数据会过期,偏好类评分有主观性,中文场景迁移需自验;深度数据与企业级报告走付费路线。在模型发布以周为单位轰炸的当下,一个独立、口径统一、更新及时的参照系,本身就是基础设施——Artificial Analysis 目前最接近这个角色。

