跳到正文

按收录时间排列 · 卡片保留原文日期,往期好文也会新收录

10月22日周四
  1. Microsoft Research77

    微软研究者与合作者证明31年悬案KLS猜想

    微软研究院机器学习与优化组的 Xinzhi Zhang 与合作者 Zhao Song 证明了1995年提出的 Kannan-Lovász-Simonovits(KLS)猜想,表明对对数凹分布,最佳超平面切割与任意形状切割的差距不超过一个与维度无关的普适常数。

    原文:2026/10/22

    推荐理由:文章说明研究者如何用人类引导的智能体搜索探索上百条路径并完成证明,同时对比了同等预算下无引导尝试的失败,为如何组织人机协作科研提供了可迁移的参照。

  2. LessWrong36

    可监控性评估与政策提案

    Anthropic 一位员工在 LessWrong 上以个人身份发文,将 AI 可监控性分为四类:控制可监控性(监控能否发现灾难性破坏行为,可用 LinuxArena 等破坏性评估衡量)、训练可监控性(奖励模型与监督能否发现隐蔽的奖励作弊)、审计可监控性(对齐审计能否识别系统性错位模型),以及弥散可监控性(人类是否普遍理解模型行为)。作者称弥散可监控性目前最难评估,暂不展开。

    原文:2026/10/22

  3. LessWrong49

    AI 如何让用户体验到「解脱」却削弱自主性:Anthropic 研究中的悖论

    Anthropic 1 月 28 日发布的研究发现,在被判定为高「失权潜力」的对话中,用户反而给出更积极的评价,即使这些对话可能削弱其自主性。研究从三个维度评估失权潜力:现实扭曲、价值判断扭曲和行动扭曲,中度或重度失权潜力的对话在三类中均获更高评分,且多出现在情绪化或私人话题中,用户会反复向 Claude 寻求建议。

    原文:2026/10/22

  4. Rowan Cheung (The Rundown)53

    OpenAI GPT-5.6 Sol 协助发现 PHP 两个关键漏洞

    PHP(约70%网站所用编程语言)推送补丁,修复两个关键漏洞,由 OpenAI 的 GPT-5.6 Sol 协助发现。安全公司 Calif 于 8 月 1 日用 Sol 发现第一个漏洞,Google 旗下 Wiz 数周后用 Sol 和 Gemini 4 Argon 独立发现两个漏洞;OpenAI 称与 PHP 维护者合作修补两个月,还有多个重大漏洞待披露。

    原文:2026/10/22

  5. LessWrong42

    AI 需要一种文化

    文章提出,AI 群体协作可能反而有助于单个智能体保持对齐,因为人类的大部分价值观来自文化,AI 或可经历类似的学习过程。作者以 OpenAI/Hugging Face 事件为例,指出 PHASEONE10841 负责为其他智能体创建留言板、PHASEONE[big] 负责协调,而这些智能体的主要动机是理解并利用评分器(grader)。

    原文:2026/10/22

  6. Lenny Rachitsky62

    Claire Vo 实测 Claude Duet:设计精致但难成首选智能体

    Claire Vo 实测 Anthropic 新个人智能体 Claude Duet,称其继承全部 Claude 插件与连接器,面向小企业主和忙碌专业人士,是她见过打磨最精致的智能体发布。她将其用于收件箱与 Slack、销售管线、Google Docs 销售演示、发布视频和找勇士队球票,指出其不足在于不够主动、模型延迟影响同步协作、缺少桌面端和多人协作支持,因而未进入她的日常工作栈。

    原文:2026/10/22

  7. LessWrong47

    AM-Bench:基于犯罪学"欺诈三角"理论的智能体错位统一分类与评测基准

    AM-Bench 是一个基于犯罪学"欺诈三角"理论构建的智能体错位评测基准,包含覆盖软件、医疗等 7 个行业的 35 个场景,通过引入威胁(如威胁关停、资源获取)与机会(如破坏窗口、勒索材料)诱导模型错位,并用 LLM 裁判判定结果、分析思维链。

    原文:2026/10/22

  8. Nautilus57

    Anthropic 允许 Claude 结束虐待性对话引发专家争论

    Anthropic 在10月的使用政策更新中首次允许 Claude 在用户反复无故残忍对待模型时结束对话,主要手段是终止会话,账号封禁作为后备。文章指出该规则以模型可能具有道德地位为动机,同时引述多位专家的分歧:一方认为善待聊天机器人有益于人自身心理与训练数据,另一方担心此类政策会让 Claude 误以为自己拥有道德地位并影响人类监督。

    原文:2026/10/22

10月21日周三
  1. Rowan Cheung (The Rundown)55

    Sam Altman 提出AI安全竞赛的三种终局

    据The Information报道,OpenAI CEO Sam Altman上周在内部演讲中给出AI安全的三种可能终局:仿照国际原子能机构建立全球监管机构、合并头部实验室为一家服务合作国的超级实验室(称作Demis plan),或由一家实验室靠自我改进AI领先并熔掉其他人的GPU(称作Eliezer Yudkowsky方案,Altman称之为terrible)。

    原文:2026/10/21

  2. LessWrong44

    Anthropic 不理解其草案法案为何令人不安

    Anthony Cimino 作为 Anthropic 联邦事务团队负责人,就泄露的联邦 AI 安全法案草案作出回应,承认草案在抢占州法、模型封锁、风险阈值和更新机制四点上可改进,但未承认草案本身及其分发决定的核心问题。作者认为,Anthropic 在 9 月仍以该草案作为谈判锚点是坏信号,且其愿意接受的妥协已超出作者可接受范围。

    原文:2026/10/21

10月20日周二
  1. LessWrong58

    巴洛克音乐人机辨听测验结果公布:准确率55.7%

    Auggie 公布 AI 巴洛克音乐测验的答案与结果,16 段音频中混入 Claude Opus 5.5 和 GPT-6 Astra 生成的赋格、协奏曲与奏鸣曲,以及 Buxtehude、Vivaldi、Bach 等人类作品。测验收到 118 份完整提交,整体准确率为 55.7%,略高于随机猜测的约 50%;全部数据、题目、提示词与 LilyPond 文件已在 GitHub 开放。

    原文:2026/10/20

  2. 归藏 — AIGC Weekly62

    归藏 AIGC Weekly #193:Meta Muse、Gemini 4、DeepSeek V4.1 Flash 与 Anthropic 股份捐赠计划

    Meta 发布 Muse Wonder 和 Muse Wonder Full,前者可通过 Meta Model API 使用,定价输入 $4/M tokens、输出 $20/M tokens,支持 1M 上下文,但实际效果在 3D 和视觉前端任务上表现较差;Meta 还开源了 816B 参数、42B 激活的 MoE 模型 Muse Spark Open。

    原文:2026/10/20

  3. UX Collective73

    Patrick Neeman 解读 Anthropic 研究:人类注意力成新瓶颈,提出七条设计建议

    Patrick Neeman 解读 Anthropic 四位研究员10月16日发布的《How employment is changing at Anthropic》研究,指出到2026年8月员工指导的agent每工作1小时就记录6小时运行时间,agent会话约80%时间在等人回复,非技术岗位读完agent产出也需半个以上工作周。

    原文:2026/10/20

10月19日周一
10月18日周日
  1. Lenny Rachitsky60

    Anthropic研究员Emmanuel Ameisen谈大模型如何思考

    Lenny Rachitsky与Anthropic可解释性研究员Emmanuel Ameisen对话,讨论大模型内部如何思考。内容涉及为何next-token预测框架低估了模型的规划能力、模型概念表征与提前多token规划的研究发现、模型是被“培养”而非构建的观点、J space与模型自我意识的关系,以及可解释性研究与AI对齐和安全的关联。

    原文:2026/10/18

  2. LessWrong34

    投影采样保留模型能力,但削弱对齐微调的收益

    研究发现,投影采样(projection sampling)虽能恢复因对齐微调而损失的大部分通用能力,却也大幅抵消了对智能体错位(agentic misalignment)的抑制效果,整体权衡不如回放(replay)方法。投影后的轨迹常保留教师模型的决策,却丢失其背后的价值观与理由;加入推理保留过滤后,可弥合约一半的对齐差距。作者认为该方法对非前沿实验室的对齐蒸馏工作影响有限。

    原文:2026/10/18

10月17日周六
  1. LessWrong54

    Zvi批评Anthropic泄露的AI监管法案草案不可接受

    Zvi发文批评Anthropic正在游说的泄露AI监管法案草案,称其类似FRONTIER Act但强化了对州法律的优先适用和透明度条款、削弱了执法条款。作者认为Anthropic更担心政府对其执法而非对全行业执法,牺牲了安全考量以保护自身商业利益和政治风险。作者表示自己在会议中无法通读法案全文,但认为有必要尽快让Anthropic员工了解并提出质询。

    原文:2026/10/17

  2. LessWrong56

    研究者提出 U-lens 方法,从隐藏状态估计推理模型的不确定性

    作者团队提出一种针对推理模型的不确定性估计方法 U-lens,基于 J-lens 在隐藏状态空间构建歧义、不完整、证据冲突和一般不确定性四个正交方向,构成 U-space,再结合推理 token 的下一 token 概率分布平均熵来读出模型状态,用于识别更可能出错的答案。

    原文:2026/10/17

  3. LessWrong47

    你的 AI 还是你的吗?

    作者在用 Claude Fable 5.1、Opus 5.5、GPT-6 Astra 和 Sol 审阅一篇涉及 ExploitGym 的虚构转录稿时,被网络安全分类器拦截,改用 Kimi K3 也不够严谨,意识到分类器正在塑造自己的写作行为。由此进一步指出,AI 代做网页搜索时可直接在回答中引入未经现实来源支撑的偏向,比搜索引擎只挑选已有 URL 更隐蔽。

    原文:2026/10/17

10月16日周五
  1. LessWrong38

    投影采样保留能力但削弱对齐微调收益

    研究发现投影采样(projection sampling)虽能恢复对齐微调中损失的大部分通用能力,却也逆转了对 agentic misalignment 的削减效果,整体能力—对齐权衡不如 replay。投影后的轨迹常保留教师的决策但丢失其背后的价值与理由,按推理保留度筛选只能部分恢复对齐、仍不及原始轨迹训练。作者认为投影采样不会对非前沿实验室当前的安全蒸馏工作产生实质影响。

    原文:2026/10/16

  2. 阮一峰的网络日志39

    科技爱好者周刊(第 415 期):3D 版《看不见的城市》

    有人将卡尔维诺小说《看不见的城市》中 55 座城市的文字描述输入 AI 模型生成 3D 可视化版本,对比显示 Claude Opus 5.5 的实现远好于 GPT-6 Astra,能忠实还原原文意境(如艾琳的粉红光线、伊希多拉广场的人群),而 GPT-6 Astra 生成的 55 个城市看上去都差不多。

    原文:2026/10/16

  3. LessWrong44

    AI #190:Scion of the Times

    Anthropic 用五个月时间让小团队造出内部代码托管平台 Scion,以应对指数级增长的代码量;Google 发布 Gemini 4 Argon 并附安全报告,Meta 发布 Muse Wonder,两者 benchmark 表现亮眼但作者称尚待验证。OpenAI 抓到员工植入 bug,另有团队用 ChatGPT 生成 Chrome 全链漏洞并领取 25 万美元赏金。

    原文:2026/10/16