LessWrong· Matthew Nguyen·· 11 天前AI 评分38
投影采样保留能力但削弱对齐微调收益
Projection sampling preserves capabilities but diminishes gains from alignment fine-tuning
AI 导读
研究发现投影采样(projection sampling)虽能恢复对齐微调中损失的大部分通用能力,却也逆转了对 agentic misalignment 的削减效果,整体能力—对齐权衡不如 replay。投影后的轨迹常保留教师的决策但丢失其背后的价值与理由,按推理保留度筛选只能部分恢复对齐、仍不及原始轨迹训练。作者认为投影采样不会对非前沿实验室当前的安全蒸馏工作产生实质影响。
这篇内容暂未取得可阅读的正文,目前提供中文导读和原文入口。节目介绍或原站公开片段不代表完整文章。
来源:LessWrong · lesswrong.com