用性格训练让开源模型变得风险规避

研究者用简短的宪法式规范对 Gemma 和 Qwen 等四个开源权重模型进行性格训练，使其表现出风险规避，且无需标注数据，在分布外测试中优于基线。结果显示 token 预算和模型家族影响显著，声明式写法（"I am..."）优于程序式写法，增加示例数量效果不佳。研究同时发现模型对短视奖励的偏好也随之上升，作者提醒性格训练也可能泄漏不良行为，需谨慎理解。