LessWrong· Bicuspid Valve·· 11 天前AI 评分44
CarrotParsnipBench:一个轻量级多智能体欺骗与检测评测基准
CarrotParsnipBench: A Lightweight Multi-Agent Deception and Detection Eval
AI 导读
作者用 Carrot-Parsnip 社交推理游戏对 10 个模型开展了超过 5000 局实验,并用四参数模型拟合结果,认为该极简游戏可作为评测 LLM 策略性欺骗与欺骗检测能力的多智能体基准。该游戏仅需三个玩家、通用建议即可让各类模型理解并胜任,每局成本仅数美分,即使使用接近前沿的模型也能运行。作者称借助锚定部分初始模型集即可准确计算新模型的 ELO,因此可低成本持续更新、覆盖数百个模型的基准。
这篇内容暂未取得可阅读的正文,目前提供中文导读和原文入口。节目介绍或原站公开片段不代表完整文章。
来源:LessWrong · lesswrong.com