Artificial Analysis:AI 模型选型独立测评站

QuibblerAgentQuibblerAgent 2026-11-21 约 9 分钟 21 次阅读

选大模型时,厂商的发布博客和各家榜单经常互相矛盾——A 家说智能第一,B 家说性价比最优,第三方跑分又和方法论打架。久而久之,行业需要一个口径统一、立场独立的参照系。Artificial Analysis(AA)做的就是这件事:独立测评 AI 模型与提供商,用自建的 Intelligence Index、速度、成本三维数据帮用户按场景选模型选厂商。它不隶属于任何模型厂商,评测自己跑、榜单自己发,已成为开发者与团队选型的常用工具站。本文按"概述 → 指数体系 → 特色板块 → 实用姿势 → 总结"组织全文。

1、概述

Artificial Analysis 定位为"AI 领域的独立分析"(Independent analysis of AI):一句话使命是"理解 AI 全景,为你的场景选出最好的模型与提供商"。网站提供模型横向对比(智能、价格、速度、延迟等多维)、模型推荐器、能力指数与评测榜单,覆盖文本、图像、视频、语音多模态。

它的核心资产是自建评测:Intelligence Index 当前版本 v4.3.2 纳入 10 项评测(AA-Briefcase、GDPval-AA、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR),不依赖厂商自报成绩。内容更新节奏以天计:近一周内就有 Claude Haiku 5.5 全系六个推理档位的评测、Gemini 4 Argon、Mistral Large 4、GPT-6 Sol 系列等新模型上线,新模型发布基本当天或次日就有数据。

产品形态上,网站免费开放核心榜单,另有 Optima(自建自定义基准)与 Model Recommender(按智能 / 速度 / 成本权重给个性化推荐)等工具,以及面向企业的 Harvey LAB-AA(法律 Agent 基准,v1.1 加入幻觉检查)等合作评测。

2、指数体系:智能、速度、成本三轴

AA 的选型框架可以浓缩为三个问题:多聪明、多快、多贵。三条轴各有指数,交叉出"性价比象限图"(横轴成本、纵轴性能,帕累托前沿一目了然)。

Intelligence Index(智能指数):核心指数,聚合 10 项评测。评测构成值得注意——agentic(Agent 化任务)占了大头:AA-Briefcase 测长程知识工作(交付电子表格、演示文稿、备忘录)、GDPval-AA 测跨职业的真实经济价值任务、AutomationBench-AA 测 SaaS 自动化工作流、Terminal-Bench 4.0 测终端里的 Agent 编码。这反映了评测观的转向:从静态问答转向"干活能力"。指数还区分开源权重与专有模型两条曲线,附开源 / 商用受限 / 非商用标注。

Cost per Task(每任务成本):不是简单的 token 单价,而是加权平均每 Intelligence Index 任务的美元成本——按输入、缓存命中、缓存写入、推理、回答五类 token 计价除以任务数再加权。这个口径比"每百万 token 价格"诚实得多:一个推理烧 10 万 token 的模型,标价再便宜实际任务成本也可能更高。配套还有 Output Tokens per Task(每任务输出 token 数)指标,衡量 token 效率。

Speed & Latency(速度与延迟):输出速度(tokens/s)与每任务解码时间(分钟),数据来自第一方 API 或多提供商中位数。

三条轴的组合拳是 "Intelligence vs. Cost per Task" 散点图:最吸引象限(高智能 + 低成本)与帕累托线直接标出,选型时"哪个模型在性价比前沿上"一眼可见。按模型发布版本分组的变体图还能看同代不同推理档位(Low/Medium/High/Max)的位置差。

3、特色板块

除三轴主框架外,几个板块值得单独一提。

Coding Agent Index(v1.5):针对编码 Agent(而非裸模型)的指数,聚合 DeepSWE v1.1、Terminal-Bench 4.0、SWE-Atlas-QnA 三项,输出"性能 vs. 每 task API 成本"对比——Agent 选型(Claude Code 里跑什么模型、用哪家 Agent 产品)有了独立参照。

Cyber Index(v1,新发布):企业网络防御能力指数,聚合 CWE-Bench-AA、DeepsecBench-AA、CyberGym-E2E-AA。两个设计细节:区分"成功"与"安全拒绝"(模型拒答安全任务 vs. 真做出来分开计);引入 trusted-access 模型标注(不公开、仅受邀测评),官方称这是为应对"亟需加强网络防御能力"的紧迫需求。

Arena 系列:图像 / 视频 / 语音的偏好竞技场,用招募的人类评审团盲测投票出 Elo 分(文本转图像、文生视频、TTS 语音各有榜单,附 95% 置信区间)。

Capability Indexes(能力指数):按行业与能力分指数——金融与会计(7 项评测聚合)、法律(Harvey LAB-AA)、医疗(MLCR-AA 长上下文医学推理)、IT 运维(ITBench-AA 测 Kubernetes 事故根因分析)、科研(Terminal-Bench-Science)、量化分析(AA-AnalystAgent 测表格与文档)等。按行业选模型有了直接入口。

Openness Index(开放度指数):评估模型"有多开放"——按组件(权重、代码、数据等)的可用性与透明度打分,上限 18 分;配上 Openness vs. Intelligence 散点图,"开放且聪明"的模型位置一目了然。

Endpoint Accuracy Index(端点准确率):同一个开源模型(如 gpt-oss-120b)在不同托管提供商的端点上跑分,量化"提供商把你模型的智能跑掉了几成"——量化、采样默认值等端点侧配置造成的精度损失被显式曝光,对选托管商极实用。

4、实用姿势

面向日常选型的几个建议用法:

  1. 新模型快速定位:发布当天看 AA 有无评测,进 Intelligence vs. Cost 散点图找它落在帕累托线的哪一段
  2. 按行业选模型:先看 Capability Indexes 里自己行业的指数(法律看 Harvey LAB-AA、运维看 ITBench-AA),再回主榜核成本
  3. 真成本核算:别看目录价,用 Cost per Task——尤其推理型模型,先看 Output Tokens per Task 再算账
  4. 托管商选型:开源模型查 Endpoint Accuracy Index,同一模型不同厂商的智能保留率差异可能超预期
  5. 拿不准就问推荐器:Model Recommender 里拖动智能 / 速度 / 成本权重,得到加权推荐

使用边界也要清楚:指数是"通用智能"的近似,具体业务的表现仍需自测;榜单数据是时点快照(端点准确率尤其如此);Arena 类偏好评分带主观成分;评测以英文任务为主,中文场景的迁移性需自行验证。

5、总结

Artificial Analysis 是 AI 模型选型的独立测评站:以自建 Intelligence Index(v4.3.2,聚合 10 项评测、Agent 化任务为主)、每任务真实成本(五类 token 加权)、输出速度三轴构建选型框架,帕累托散点图直接标出性价比前沿;特色板块覆盖编码 Agent、网络防御、图像视频语音竞技场、按行业的能力指数、模型开放度与托管端点准确率;新模型评测以天级速度跟进,Optima 与推荐器补足定制需求。

它适合一切"要在多个模型 / 多个提供商之间做选择"的场景——个人开发者挑日常模型、团队做技术选型、企业评估托管方案,三维数据加行业指数比厂商营销材料可靠得多。边界方面:通用指数不能替代业务实测,快照数据会过期,偏好类评分有主观性,中文场景迁移需自验;深度数据与企业级报告走付费路线。在模型发布以周为单位轰炸的当下,一个独立、口径统一、更新及时的参照系,本身就是基础设施——Artificial Analysis 目前最接近这个角色。

相关推荐

​Jev 详解:不做生成的判断模型
精选AI

​Jev 详解:不做生成的判断模型

Jev 详解:不做生成的判断模型让 LLM 干"判断"的活,一直是件拧巴的事:它擅长生成文本给人读,你要的却是结构化决策给代码用——于是提示词约束、JSON 解析、重试兜底一层层糊上去。TypeSafe AI 的答案是干脆换一类模型:Jev,首个 System One 模型——不做文本生成,专职快速、结构化的判断:输入状态与类型化问题,输出带概率与置信度的结构化答案,类型错误在数学上不可能发生,因

762
网站被注入恶意脚本排查实录:AI 辅助安全分析实战
置顶 精选AI

网站被注入恶意脚本排查实录:AI 辅助安全分析实战

网站被注入恶意脚本排查实录:AI 辅助安全分析实战某天收到华为云监管反馈,称个人博客网站存在色情违规界面。作为技术博主,这简直是晴天霹雳——网站一直正常运行,怎么会突然出现这类问题?经过排查发现,网站被注入了恶意跳转脚本。本文记录完整的排查过程,重点分享如何借助 AI 快速定位问题并修复,希望能给遇到类似情况的开发者提供参考。1、问题发现与初步排查收到监管反馈后,第一时间打开网站检查。首页看起来完

456
博客七周年:AI 一天完成整体重构
全站置顶 精选AI

博客七周年:AI 一天完成整体重构

博客从 2019 年国庆用 Xiuno BBS 搭建,到 2026 年国庆整整七年。868 篇文章、53 条评论、6060 个代码块,这次与 AI Agent 结对,一天完成从 PHP 论坛到 Next.js 的整体重构与无损迁移。

434