LessWrong· Matthew Nguyen·· 10 天前AI 评分34
投影采样保留模型能力,但削弱对齐微调的收益
Projection sampling preserves capabilities but diminishes gains from alignment fine-tuning
AI 导读
研究发现,投影采样(projection sampling)虽能恢复因对齐微调而损失的大部分通用能力,却也大幅抵消了对智能体错位(agentic misalignment)的抑制效果,整体权衡不如回放(replay)方法。投影后的轨迹常保留教师模型的决策,却丢失其背后的价值观与理由;加入推理保留过滤后,可弥合约一半的对齐差距。作者认为该方法对非前沿实验室的对齐蒸馏工作影响有限。
这篇内容暂未取得可阅读的正文,目前提供中文导读和原文入口。节目介绍或原站公开片段不代表完整文章。
来源:LessWrong · lesswrong.com