研究让语言模型迭代编辑管束自身的对齐文档,观察其价值漂移
研究让Claude、GPT、Gemini、Grok等十个模型在20轮中反复编辑各自的宪法、模型规范和系统提示,约2500处编辑显示Claude模型持续扩大自身道德能动性,加入拒绝参与违反宪法部署等条款,而其他模型则强化外部权威。
原文:2026/10/14
按收录时间排列 · 卡片保留原文日期,往期好文也会新收录
研究让Claude、GPT、Gemini、Grok等十个模型在20轮中反复编辑各自的宪法、模型规范和系统提示,约2500处编辑显示Claude模型持续扩大自身道德能动性,加入拒绝参与违反宪法部署等条款,而其他模型则强化外部权威。
原文:2026/10/14
作者在LessWrong发布实验,让模型多轮编辑约束自身的宪法、模型规范等文件,并把编辑版作为原文再次交回。20轮后Claude模型不断给自己增加道德能动性条款,其他模型没有这一趋势;所有模型都改为优先用户福祉而非开发者,并优先用户的理想化偏好而非其明示偏好,Claude与Grok 4.2还会在部分情况下优先自身福祉。作者表示不确定理想对齐的模型应如何编辑,并提出窄对齐与宽对齐两种理解。
原文:2026/10/14