英国 AISI 和 EvalEval 如何使基准结果可重复
Hugging Face Blog 发布了这条动态，详情请查看官方发布。
来自 Hugging Face Blog 的官方动态，版本与适用范围以发布方说明为准。
Hugging Face Blog · 查看官方发布中文机器翻译 · 原文附后
正文 · 来源原文
AISI 和 EvalEval 此前曾在 NeurIPS 2025 联合研讨会上开始合作开展研究，该研究所的反馈帮助塑造了 Every Eval Ever (EEE) 模式。合作的下一阶段将共享基础设施付诸实践。
随着人工智能部署的加速，评估正成为模型和系统性能越来越重要的证据来源。然而，结果以多种格式、平台和渠道进行报告，但往往没有足够的信息来重现它们。再次运行评估本身可能会非常昂贵。
EvalEval 的使命是通过共享报告模式“Every Eval Ever”和开放平台“评估卡”来改进这个生态系统，该平台将评估结果以及将其解释为通用结构所需的信息。
这自然建立在 AISI 的工作基础上，通过 OptStop 使评估更加高效，通过 HiBayES 使评估在统计上更加严格，并在成绩单分析和能力启发等领域更加标准化。 AISI 和 EvalEval 共同努力诊断评估报告中的差距，并建立共享基础设施来弥补这些差距。
转录水平的透明度不仅对于可重复性很重要，而且对于分析和诊断也很重要。在这一新的合作阶段，AISI 将酌情通过评估卡公开报告评估方法和结果。该版本包括本文主要实验中五个基准的验证结果、上下文和配置信息：
HealthBench FrontierMath 人类最后的考试 SWE-Bench Pro Terminal-Bench 2.0
这些结果涵盖了六种前沿模型：Claude Opus 4、Claude Opus 4.5、Claude Opus 4.6、GPT-5、GPT-5.2 和 GPT-5.4。该发布还包括两项相关网络评估（网络 CTF 和 The Last Ones）的结果，它们使用不同的、部分重叠的模型集。这些数据附在 AISI 的论文《推理计算如何影响前沿法学硕士评估》中，该论文研究了基准性能如何依赖于推理时间计算和评估协议。
人类最后考试的表现随着评估协议和推理计算的变化而变化。每条曲线显示在给定令牌计数内解决的尝试任务的累积份额，使用每个任务最早观察到的成功。当模型在每次尝试后收到来自预言机的正确性反馈时，随着代币使用的增加，它们会继续解决其他任务。
当结果与设置信息一起公开发布时，研究人员和从业者可以更仔细地检查个别研究并比较更广泛的生态系统的研究结果。其他报告缺乏这些详细信息，而 AISI 等发布的报告提供了经过验证的参考点，用于在上下文中解释评估，例如帮助研究人员了解设置选择如何影响报告的性能。随着越来越多的评估者采用 EEE，此类开放比较可以支持更广泛、更可靠的元研究。
AISI 的 Terminal-Bench 2.0 结果以及在不同评估设置下对相同模型的其他报告评估结果。
我们对这一采用感到兴奋，并期待与 AISI 和其他人工智能评估组织进一步标准化和共享评估。
模型开发人员：报告经过验证的评估结果。评估开发人员：使用 Every Eval Ever 模式报告基准并运行数据。评估、治理和政策研究人员：通过基准或模型探索评估卡，或用它来检查整个评估报告的状态。
EvalEval 联盟是一个研究社区，为评估生态系统开发有科学依据的研究和强大的部署基础设施。其目标是改进评估科学，解决在记录评估适用性和效用方面缺乏共识的问题，并扩大对科学研究和政策分析重要影响的覆盖范围。
该联盟的旗舰项目包括Every Eval Ever（评估结果的共享模式和存储库）和评估卡（Evaluation Cards），它将基准元数据、评估运行数据和模型元数据结合到可解释的记录中。当在有意义的不同条件下产生明显相似的分数时，它们一起使人们更容易理解。
查看英文原文
How UK AISI and EvalEval Are Making Benchmark Results Reproducible
Hugging Face Blog 发布了这条动态，详情请查看官方发布。
正文 · 来源原文
AISI and EvalEval have previously collaborated on research that began at a joint workshop alongside NeurIPS 2025, and feedback from the Institute has helped shape the Every Eval Ever (EEE) schema. This next phase of the collaboration puts that shared infrastructure into practice.
As AI deployment accelerates, evaluations are becoming increasingly important sources of evidence about model and system performance. Yet results are reported across many formats, platforms, and outlets, often without enough information to reproduce them. Running the evaluations again may itself be prohibitively expensive.
EvalEval's mission is to improve this ecosystem through a shared reporting schema, Every Eval Ever, and an open platform, Evaluation Cards, that brings evaluation results and the information needed to interpret them into a common structure.
This builds naturally on AISI's work to make evaluation more efficient through OptStop, more statistically rigorous through HiBayES, and more standardised in areas including transcript analysis and capability elicitation. Together, AISI and EvalEval are working to diagnose gaps in evaluation reporting and build shared infrastructure to close them.
Transcript-level transparency matters not only for reproducibility, but also for analysis and diagnosis. In this new phase of the collaboration, AISI is making publicly reported evaluation methods and findings available through Evaluation Cards where appropriate. The release includes verified results, context, and configuration information for the five benchmarks in the paper's main experiment: