跳到正文
LessWrong· Shagun Chadha·· 6 天前AI 评分47

Olmo's Kitchen:在多个检查点上探测模型行为

Olmo's Kitchen: Probing a Model's Behaviour Across Various Checkpoints.

AI 导读

作者使用开源的 Olmo 3 7B Think 模型的三个训练阶段检查点(SFT、DPO、RLVR),测试训练域是否会影响模型在域外知识与指令上的行为。作者以厨师学习过程作类比,解释 SFT 像跟随专家模仿规则、DPO 像按顾客偏好做拒绝选择、RLVR 像在烘焙比赛中通过试错与外部评分获得奖励。原文在解释 RLVR 时中断,未给出完整测试结果。

这篇内容暂未取得可阅读的正文,目前提供中文导读和原文入口。节目介绍或原站公开片段不代表完整文章。

来源:LessWrong · lesswrong.com

原文链接:https://www.lesswrong.com/posts/rtGq2KyurpauvkboL/olmo-s-kitchen-probing-a-model-s-behaviour-across-various