跳到正文
LessWrong· Matthew Nguyen·· 10 天前AI 评分34

投影采样保留模型能力,但削弱对齐微调的收益

Projection sampling preserves capabilities but diminishes gains from alignment fine-tuning

AI 导读

研究发现,投影采样(projection sampling)虽能恢复因对齐微调而损失的大部分通用能力,却也大幅抵消了对智能体错位(agentic misalignment)的抑制效果,整体权衡不如回放(replay)方法。投影后的轨迹常保留教师模型的决策,却丢失其背后的价值观与理由;加入推理保留过滤后,可弥合约一半的对齐差距。作者认为该方法对非前沿实验室的对齐蒸馏工作影响有限。

这篇内容暂未取得可阅读的正文,目前提供中文导读和原文入口。节目介绍或原站公开片段不代表完整文章。

来源:LessWrong · lesswrong.com

原文链接:https://www.lesswrong.com/posts/RzRLqSHhawCTMiDzL/projection-sampling-preserves-capabilities-but-diminishes-1