跳到正文
LessWrong· Bicuspid Valve·· 11 天前AI 评分44

CarrotParsnipBench:一个轻量级多智能体欺骗与检测评测基准

CarrotParsnipBench: A Lightweight Multi-Agent Deception and Detection Eval

AI 导读

作者用 Carrot-Parsnip 社交推理游戏对 10 个模型开展了超过 5000 局实验,并用四参数模型拟合结果,认为该极简游戏可作为评测 LLM 策略性欺骗与欺骗检测能力的多智能体基准。该游戏仅需三个玩家、通用建议即可让各类模型理解并胜任,每局成本仅数美分,即使使用接近前沿的模型也能运行。作者称借助锚定部分初始模型集即可准确计算新模型的 ELO,因此可低成本持续更新、覆盖数百个模型的基准。

这篇内容暂未取得可阅读的正文,目前提供中文导读和原文入口。节目介绍或原站公开片段不代表完整文章。

来源:LessWrong · lesswrong.com

原文链接:https://www.lesswrong.com/posts/yaf3wGNfjGaPkoewA/carrotparsnipbench-a-lightweight-multi-agent-deception-and