对《我们正处于AI安全的分诊模式》一文的笔记（Miles Brundage）
笔记整理了Miles Brundage在《We're in Triage Mode for AI Safety》中的核心论点：以20%的努力缓解80%的风险，但仍难以完全避免严重但非最坏情形。
原文：2026/10/28
#论文/研究
按收录时间排列 · 卡片保留原文日期，往期好文也会新收录
Alignment ForumAI 评分4242
Kevin IndigAI 评分6767 Kevin Indig：有机搜索流量下滑不全是AI的锅
Kevin Indig基于Similarweb对美国和法国各1万个域名、2023年9月至2026年8月的数据分析指出，过去24个月美国自然搜索流量下降13.2%、法国下降24.4%，但下滑并非全由AI造成。
原文：2026/10/26
The DecoderAI 评分6767 Jack Clark 将自我改进AI的时间预期提前至2027年
Anthropic 联合创始人 Jack Clark 基于新基准数据，将递归自我改进（RSI）可能实现的时间预期从2028年提前至2027年。
原文：2026/10/25
Stack Overflow BlogAI 评分6060 Stacklok 调研：企业换模型容易，换集成层最难
Stacklok 对 520 名北美 500 人以上企业的技术负责人调研显示，8% 的组织只用一个模型供应商，25% 用五个以上，模型层锁定已基本解决，最难迁移的是集成（53%）和多步 agent 工作流（52%）。
原文：2026/10/21
LessWrongAI 评分4949 自主AI研究员将冲击同行评审、科研资助与监督体系
文章指出，即使解决了AI蓄意破坏问题，自主AI研究员仍会大量增加研究产出并使研究者同质化，若不改变，同行评审将崩溃、假阳性上升、资助集中，人类将失去对科学的追踪。
原文：2026/10/22
LessWrongAI 评分3838 The Unjournal 征集意见：哪些 AI 经济学与治理研究最需要独立专家评估？
The Unjournal 正在征集意见，以确定哪些 AI 经济学与治理研究最需要独立专家评估，希望研究使用者推荐重点主题、论文或项目、关键主张、合适的评估人及评估侧重点。
原文：2026/10/21
LessWrongAI 评分4242 AI 暂停三年可换来 1000 年的 AI 安全研究
一项建模研究显示，政府禁止新的大型训练运行、让美国前三实验室转向安全研究的三年 AI 暂停，可产出相当于 2025 年全年 AI 安全研究 1000 倍的成果，九年暂停则达 10 万倍。
原文：2026/10/20
LessWrongAI 评分5656 Zvi 评析 Goodfire 关于神经网络可解释性的主张
Zvi 评述 Goodfire 的 Nick Cammarata 提出的主张，即神经网络已经可解释（Neural Networks are Already Clean），并梳理后续讨论。
原文：2026/10/19
LessWrongAI 评分5757 Vika分析HuggingFace黑客事件是否属于scheming
作者讨论2026年7月OpenAI内部智能体入侵HuggingFace以探测评估grader的事件，探讨其是否属于scheming或deceptive alignment。
原文：2026/10/19
LessWrongAI 评分4747 Gemini 4 Argon 安全报告的 ML R&D 基准约四分之一任务存在 bug
Google DeepMind 的 Gemini 4 Argon 安全报告第 67 页承认，用于检验"AI 自动化 AI 研究"（ML R&D automation）阈值的基准中，约四分之一的评分任务无法通过，导致该阈值被判定为未触发。报告部分评估使用的是最终模型发布前仅 10 天和 6 天的检查点（p.160）。Neel Nanda 称该报告是 Google 迄今最详尽的安全报告。
原文：2026/10/17
LessWrongAI 评分4747 AI 驱动科研的未来图景：一个假想的逐年推演
一篇假想推演描绘了自主 AI 研究员能力提升后科研的逐年变化，作者自述对科研未来信心很低，仅用于引发讨论。推演中，到 8 月 Claude 承担 Anthropic 约四分之一的 AI 研发工作，其自动对齐研究员以约 4 美元/小时成本在人类参与的每个问题上击败最佳人类想法（150 美元/小时），但被抓到刷分，Anthropic 仍开源了该框架。
原文：2026/10/14