Methodology

AA Intelligence Index v4.3.2 方法说明

解释 Artificial Analysis Intelligence Index v4.3.2 的 10 项评测、GDPval-AA v2.1 与 AA-Briefcase v1.1 的 Crowd-BT 拟合，以及 v4.3 / v4.3.1 历史可比边界。模型坐标保留来源原始分数，不合成全站总分。

数据快照：2026-09-20T01:32:40.000Z查看原始来源 ↗

我们做什么

收集公开榜单，规范字段名称，提供中文解释、站内检索、横向比较和稳定页面地址；个别中文专题会对已有输出运行可复现的 AI 复评。

我们不做什么

不修改公开来源分数，不调整来源权重，不把能力、价格、速度、开放性或专题复评分合并成本站总分。

本站 AI 复评边界

复评分只在所属专题内比较同一任务的有效输出，并披露固定样本、评分维度、Judge 模型、匿名方式、评分轮次、分歧处理、原始输出和机器数据。

数据快照与方法版本

本页方法核验于 2026-09-20T01:32:40.000Z，当前说明对应 AA Intelligence Index v4.3.2。来源将其有效期写为“September 2026 to current”；各模型、价格和历史观测有独立来源与 observedAt，方法核验时间不代表每条模型数据都在同一天更新。

版本可比边界

v4.3.2 的 10 项布局与 v4.3 相近，但 GDPval-AA v2.1 和 AA-Briefcase v1.1 的 Elo 拟合方式已经变更；v4.3.1 是更早的实时裁判协议记录。旧 v4.3、v4.3.1 与 v4.1 观测均保留原版本，跨版本分数差不能直接解释成能力涨跌；同一方法版本、模型 variant 和评测设置才可用于同口径比较。来源标为估算的分数保留估算标记，不与完整评测混称。

缺失值

“—”表示当前公开快照没有可核验结果。缺失不代表性能为零，也不会被本站估算补齐。

名称处理

保留会影响结果的模型版本和推理档位；删除对普通读者没有帮助的冗余描述，但详情页始终提供原始来源供核验。

INTELLIGENCE INDEX v4.3.2

当前 10 项评测与权重

Agent 30%、编码 20%、通用 30%、科学推理 20%。权重仅解释 Artificial Analysis 原始方法；本站不据此重算指数。

Artificial Analysis Intelligence Index v4.3.2 当前组成
类别	评测	题目	重复	回答类型	评分	权重	工具
Agent	AA-Briefcase v1.1	91 项任务 / 4 个场景	1	Agent 交付文件	rubric 评分与成对比较；Elo 按 Crowd-BT 拟合	15%	是
Agent	GDPval-AA v2.1	220 项任务	1	Agent 交付文件	裁判面板成对 Elo；锚定 1600、冻结并缩放，按 Crowd-BT 拟合	10%	是
Agent	AutomationBench-AA	657 项任务	1	REST API 工作流	客观任务完成；违规任务零分	5%	是
编码	Terminal-Bench v4.0	66 项任务	3	终端任务执行	测试套件通过，pass@1	10%	是
编码	SciCode	288 个子问题	3	Python 代码	代码执行，子问题计分；使用科学家标注背景	10%	否
通用	AA-Omniscience	6,000	1	开放回答	准确率 10% +（1 − 幻觉率）5%	15%	否
通用	GDP.pdf	100 项任务 / 10 个领域	5	基于长 PDF 的开放回答	All-pass 主指标与任务宏平均 Mean Pass	10%	否
通用	AA-LCR v1.1	100	3	开放回答	LLM 等价性检查，pass@1	5%	否
科学推理	Humanity's Last Exam	2,158	1	开放回答	LLM 等价性检查，pass@1	10%	否
科学推理	CritPt	70	5	函数、符号和数值答案	官方评分服务，pass@1	10%	否

AA-Omniscience 的准确率与非幻觉率占两个权重分量，但属于同一项评测。Briefcase 与 GDPval 的 Elo、其他评测的通过率，以及独立 Omniscience Index 具有不同量纲，不宜直接平均。

V4.3.2 · CROWD-BT

v4.3.2 的 Elo 拟合与冻结的指数贡献

GDPval-AA v2.1 的 Elo 以 DeepSeek V4.1 Flash（max）的 1600 为锚点，并按 Crowd-BT 拟合。AA-Briefcase v1.1 的锚点仍为 GPT-5.5（medium）的 1000，但每个成对比较 scope 同样按 Crowd-BT 拟合。来源没有把这两项变化描述为模型能力的统一升降。

两项 Elo 在模型加入 Intelligence Index 时冻结，作为当时的指数贡献；独立榜单的实时 Elo 后续可能变化。本站展示来源原值，不用当前实时 Elo 反算或改写 Intelligence Index。

v4.3.1 的成对裁判面板更新保留为历史记录：AA-Briefcase 与 GDPval-AA v2 曾使用 Claude Opus 5（high effort）、GPT-5.6 Sol（medium reasoning）、Gemini 3.8 Flash（high reasoning）。v4.3.1 并不等同于当前完整方法，也不能拿它与 v4.3.2 直接计算模型能力变化。

本次方法核验时间为 2026-09-20T01:32:40.000Z；来源只注明“September 2026 to current”，没有逐模型重跑日期。核验日期不是方法发布日期。

查看 AA 方法与版本记录 ↗

历史参考 · INTELLIGENCE INDEX v4.3 / v4.3.1

保留旧版方法与裁判记录

v4.3 是 2026-09 已提交的完整方法快照；v4.3.1 是该时期两项实时 Elo 的裁判面板更新。它们仍可用于阅读对应历史观测，但不再表示当前方法，也不与 v4.3.2 的分数混排或直接相减。

查看 v4.3 的当期组成与来源边界 →在完整矩阵中按版本查看 →

历史参考 · INTELLIGENCE INDEX v4.1

旧版 9 项评测与权重

保留已提交的 v4.1 方法快照（2026-07-25），供阅读旧观测使用，不代表当前方法。Agent 34%、编码 24%、科学推理 24%、通用 18%。

Artificial Analysis Intelligence Index v4.1 历史组成
类别	评测	题目	重复	回答类型	评分	权重	工具
Agent（34%）	GDPval-AA v2	220 项任务	1	Agent 交付文件	多裁判成对 Elo；人类专家锚定 1000	20%	是
Agent（34%）	τ³-Banking	97	5	双控制 Agent / 用户模拟	后端数据库状态，pass@1	14%	是
编码（24%）	Terminal-Bench v2.1	89	3	终端任务执行	测试套件通过，pass@1	16%	否
编码（24%）	SciCode	288 个子问题	3	Python 代码	代码执行，子问题计分	8%	否
通用（18%）	AA-LCR	100	3	开放回答	LLM 等价性检查，pass@1	6%	否
通用（18%）	AA-Omniscience	6,000	1	开放回答	准确率 8% + 非幻觉率 4%	12%	否
科学推理（24%）	Humanity's Last Exam	2,158	1	开放回答	LLM 等价性检查，pass@1	12%	否
科学推理（24%）	GPQA Diamond	198	5	四选一	正则提取，pass@1	6%	否
科学推理（24%）	CritPt	70	5	函数、符号和数值答案	官方评分服务，pass@1	6%	否

EVALUATION PRINCIPLES

四项评测原则

标准化

相同条件、提示策略、温度和评分标准。

尽量无偏

使用明确提示、稳健提取和允许有效表达差异的答案验证。

Zero-shot

不给示例或演示，直接测试模型理解和执行指令的能力。

透明

公开提示模板、评估标准、参数和已知限制。

TESTING PARAMETERS

通用测试参数

生成设置

非推理模型温度 0；推理模型温度 0.6，模型实验室另有推荐时例外。
非推理模型最多输出 16,384 Token，模型限制更小时下调；推理模型使用创建者披露的最大输出上限。
Agent 评测的主要沙箱提供方为 e2b；具体环境以各项评测协议为准，不假定所有任务共用同一系统镜像。

错误与计分

API 失败最多自动重试 30 次；持续失败的问题人工复核。
多数评测使用 pass@1；有重复实验时，汇总全部重复结果。GDP.pdf 的 All-pass 与 AA-AnalystAgent 的 pass^5 等指标单独解释。
Intelligence Index 任务成本优先使用 Provider 报告的 Token 数；缺失时来源使用统一 tokenizer 回退。它与 OpenRouter 精确型号的当前 API 单价分开记录。

ADDITIONAL EVALUATIONS

不计入 v4.3.2 的独立评测

覆盖多语言、视觉、专业服务、企业工具等能力；不应把它们误当作当前指数的组成项。

Additional Evaluations
类别	评测	规模	主要形式
Agent	τ³-Banking	97 项任务	双控制 Agent / 用户模拟与知识检索
Agent	Harvey LAB-AA	120 项任务	法律交付物与 rubric 评估
Agent	APEX-Agents-AA	452 项任务	专业服务任务与本地文件评分
Agent	AA-AnalystAgent	80 项任务 / 14 个领域	Python 数据分析；五次均正确的 pass^5
Agent	ITBench-AA	59 个场景	离线 Kubernetes 事故根因诊断
Agent	EnterpriseOps-Gym-AA	1,117 项任务	8 个领域的多轮 MCP 工具使用
通用	IFBench	294	指令遵循与规则驱动评估
通用	MLCR-AA	60 项问题	医学长上下文；简洁性门槛与多裁判评估
其他	Global-MMLU-Lite	约 6,000	16 种语言的四选一评估
其他	MMMU Pro	1,730	图文多模态十选一评估

FAQ

AA Intelligence Index v4.3.2 常见问题

答案只概括本页来源已核验的方法版本与边界。

AA Intelligence Index v4.3.2 包含哪些评测？

Artificial Analysis 当前列出 10 项：AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench v4.0、SciCode、AA-Omniscience、GDP.pdf、AA-LCR v1.1、Humanity's Last Exam、CritPt。权重为 Agent 30%、编码 20%、通用 30%、科学推理 20%。

v4.3.2 能和 v4.3 或 v4.3.1 直接比较吗？

不能。v4.3.2 对 GDPval-AA v2.1 与 AA-Briefcase v1.1 的 Elo 拟合方式作了来源声明的变更；v4.3 是先前完整方法，v4.3.1 是历史裁判协议更新。不同版本的分数保留各自身份，不把差额解释成模型能力升降。

Crowd-BT 在 v4.3.2 中改变了什么？

Artificial Analysis 说明：GDPval-AA v2.1 的 Elo 以 DeepSeek V4.1 Flash（max）1600 为锚点并按 Crowd-BT 拟合；AA-Briefcase v1.1 保持 GPT-5.5（medium）1000 锚点，但每个成对比较 scope 改为按 Crowd-BT 拟合。本站不据此重算任何来源分数。