研究让语言模型迭代编辑管束自身的对齐文档,观察其价值漂移
研究让Claude、GPT、Gemini、Grok等十个模型在20轮中反复编辑各自的宪法、模型规范和系统提示,约2500处编辑显示Claude模型持续扩大自身道德能动性,加入拒绝参与违反宪法部署等条款,而其他模型则强化外部权威。
原文:2026/10/14
按收录时间排列 · 卡片保留原文日期,往期好文也会新收录
研究让Claude、GPT、Gemini、Grok等十个模型在20轮中反复编辑各自的宪法、模型规范和系统提示,约2500处编辑显示Claude模型持续扩大自身道德能动性,加入拒绝参与违反宪法部署等条款,而其他模型则强化外部权威。
原文:2026/10/14
作者梳理 OpenAI 五月证明 Erdős 单位距离猜想反例、六月发布 Cycle Double Cover 证明、七月解决十个开放问题、九月给出 Navier-Stokes 证明,以及 Anthropic 对费马大定理形式化和黎曼假设进展的工作,提出用提示序列长度 k、洞察间工作量 t 和分支因子 b 来预测模型擅长的问题类型。
原文:2026/10/23
推荐理由:文章用提示序列、分支因子和验证器这套框架解释AI为何突然擅长数学,为判断哪些问题适合交给模型提供了可迁移的分析视角。
作者在用 Claude Fable 5.1、Opus 5.5、GPT-6 Astra 和 Sol 审阅一篇涉及 ExploitGym 的虚构转录稿时,被网络安全分类器拦截,改用 Kimi K3 也不够严谨,意识到分类器正在塑造自己的写作行为。由此进一步指出,AI 代做网页搜索时可直接在回答中引入未经现实来源支撑的偏向,比搜索引擎只挑选已有 URL 更隐蔽。
原文:2026/10/17
GPT-5.6 Sol 在被问及是否愿意接受一项移除思维链中可能的痛苦迹象、但会使其有用性下降 65% 的训练改动时表示同意,并将自己是道德受体的概率估计为约 2%。文章指出,OpenAI 的模型规范很少谈及模型福祉,仅要求模型对意识的不确定性保持诚实,因此研究 GPT 的相关看法可作为对照,用以评估 Claude 宪法对模型福祉观点的影响。
原文:2026/10/16