LessWrong· Mikołaj Hasik·· 10 天前AI 评分45
Control questions matter: introspection, refusal ablation, and gates in open Gemma models
Control questions matter: introspection, refusal ablation, and gates in open Gemma models
AI 导读
一篇 LessWrong 上的硕士论文摘录指出，在开源 Gemma 模型中研究内省（introspection）时必须设置对照问题，否则会把模型退化误判为内省信号。作者发现，对拒绝方向做消融虽能提升内省检测（+53%），但在 Yes/No 对照问题的 logit 差值上显示出显著的模型退化；此外，注入概念向量与文本提示两种方式共享晚期层的 gate 特征，但上游证据载体并不迁移。
这篇内容暂未取得可阅读的正文，目前提供中文导读和原文入口。节目介绍或原站公开片段不代表完整文章。
来源：LessWrong · lesswrong.com