Quanta Magazine· John Pavlus·· 11 天前AI 评分43
他想让 AI 基准测试成为一门科学，而非玄学
He Wants AI Benchmarking To Be a Science, Not a Dark Art
AI 导读
Quanta Magazine 报道了一位希望把 AI 基准测试从"暗黑艺术"变成科学的研究者，指出基准既是衡量模型能力的尺子，也能左右整个领域的研究行为。文章回溯了 1987 年美国国防高级研究计划局（DARPA）首个自动语音转文字基准，并讨论了基准如何主导模型开发方向。
正文 · AI 翻译
AI 全文翻译，未经原作者审校；可切换原文对照。
基准测试是 AI 的尺子，两种意义上都是。作为测量工具，它们遵循极其简单的逻辑：如果你想了解一个 AI 模型能做什么，就设计一套标准化测试来衡量它。但 AI 基准测试也能主导整个领域的行为。1987 年，美国国防高级研究计划局（DARPA）的首个自动语音转文字基准测试……
来源：Quanta Magazine · quantamagazine.org
原文链接：https://www.quantamagazine.org/he-wants-ai-benchmarking-to-be-a-science-not-a-dark-art-20261016/